您的位置:bob体育官方平台 > 外军资讯 > 科学家成功用无线电波生成全息图像,识别物体几乎零延时

科学家成功用无线电波生成全息图像,识别物体几乎零延时

2020-02-16 14:39

图片 1

黑夜给了我WiFi的眼睛 科学家成功用无线电波生成全息图像

试想一下,此时你正戴着耳机,全神贯注的“吃鸡”,马上就到了拐角处,你习惯性的放慢了脚步……你是一只老鸟,没有听到声响反而让你变的更加警觉,会不会在转角侧正有一个人在潜伏着,默默地注视并等待着你?要是有个外挂可以识别盲区该多好啊……然而,使用外挂是违规的,不过这项黑科技在现实中已经存在了。

近日,美国加州大学洛杉矶分校提出了一种全新的全光学深度学习框架:衍射深度神经网络。

人体姿态判别是目前人工智能研究的热门课题,但现有方法大多是借助光学成像,构筑一幅“看得见”的画面。你是否想过,有一天我们也能像超人一样隔着厚厚的墙体透视一切?

图片 2

作为计算机视觉领域的顶级会议,今年的CVPR收录了一篇于非视距物体识别技术的亮点论文,作者来自合刃科技,让这个场景可能成为现实。这篇论文介绍了基于相干光的散斑特性来实现非视距物体识别的技术。

时下,在无人驾驶、语音识别、科学研究等诸多领域,深度学习起到了越来越重要的作用。作为近年来发展迅速的机器学习方法之一,深度学习采用人工神经网络模仿人脑学习过程,数字化地学习数据,对其进行抽象处理,并执行高级任务,例如分析图像、声音、文本。

美国麻省理工学院相关学者研究发现,通过检测WiFi和移动信号变化的多普勒效应,能够实现对目标物体的定位,并获取物体的位置移动变化。这项技术被称为射频捕获技术,其工作原理很简单——WiFi信号对不同物体的反射特性不同。连接WiFi信号设备就是根据不同物体反射特性,通过分析拼凑出人体图像。

图片来源:P. M. Holl和 F. Reinhard/《物理评论快报》

【基于相干光散斑的非视距物体识别】

然而,现有的机器学习系统的实现需要依靠高性能的电子硬件:CPU或者GPU。特别是对于深度学习来说,因为需要执行大量的并行计算,所以GPU成为了更广泛的选择。不过由于运算量非常巨大,GPU难免产生巨大的能耗。除能耗外,运算速度也是限制深度学习性能的一个重要瓶颈。

这种最新的人体姿态估计方法,突破了只能利用光学成像这一限制条件,通过接受WiFi信号来判断头、肩、肘等的位置,利用这样的方式达到“穿墙”估计人体姿态的目的。

你的无线路由器可能会以你从未料到的方式泄露你的信息。物理学家首次用来自WiFi发射机的无线电波在一个全息图中编码了一个真实物体的三维图像,类似于电影《星球大战》中由机器人R2D2投射的莱娅公主的图像。在原理上,这种技术可以让外部人士通过房间内散射出的Wi-Fi信号“看见”一个房间内部,不过一些科学家表示,这样的间谍活动说起来容易做起来难。

在自动驾驶、安防监控及其他领域,遮挡物和非视距成像区域的目标监测一直是个难以解决的问题,比如摄像头无法捕获被遮挡角落的危险行为,自动驾驶的传感器无法实时探测到拐弯处车辆和行人,无法感知被前方车辆遮挡处的行人突然横穿危险行为等。

创新

研究人员指出,这一方法的最大难点在于如何找到WiFi信号和人体姿态的对应关系。如果是光学成像,那么很容易在图像上标注出人体姿态。但是对于无线信号,人们既看不见摸不着,也感受不到它,于是,怎么标注出无线信号成了最大的问题。相关学者利用一个巧妙的办法解决了这个问题,他们在收集WiFi信号的同时也收集光学图像,在光学图像上进行标注,先训练出一个“图像-人体姿态”的神经网络,再让它当“老师”,告诉“WiFi信号-人体姿态”的神经网络,二者之间的映射关系应该是什么样的,从而极大提高了精准识别目标的能力。

德国慕尼黑理工大学量子感应专家Friedemann Reinhard说,这一想法诞生于几年前。“在午餐时间我们讨论了世界会从WiFi的眼睛里看到什么。”他说,“很显然,如果你要从WiFi的眼睛里看世界,那么你就要制作全息图。”

而这篇论文中提出的非视距物体识别技术,就是利用光的相干性从微弱的反射光信号中获取光场相位信息,结合深度学习的人工智能算法,实现对障碍物后面的物体的实时识别。相干光的传输矩阵具有幺正性,经粗糙表面反射后干涉形成的散斑分布包含了光的相位信息,可以极大地降低矩阵求逆的难度;结合深度神经网络对散斑图像进行采集训练分析,可以实现对被遮挡物的高精度识别。

近日,美国加州大学洛杉矶分校电气与计算机工程师组成的科研团队另辟蹊径,放弃采用耗能巨大的GPU设备,将目光投向光波。

“这一方法有望被应用于防暴反恐、无人驾驶、智能家居等领域。”研究人员对这项技术未来应用也充满信心,并描述了其在防暴恐行动中的使用场景:“在有WiFi信号的家中,暴恐分子劫持相关人质躲在房内,救援人员借助WiFi信号能清楚‘看到’劫匪,进而在合适时候破门而入解救人质。”

照相机通过收集物体反射的光并将其聚焦到一个屏幕上产生强度更高或更低的二维模式,从而生成图像。与此相对,全息图更多地会利用光波的自然特性。通常会利用激光。激光被分解开,其中一半将物体反射到一个摄影底片上。另一半光则会直接照射在底片上。像等间距的水波舔舐沙滩一样,参考光束中的光波会以平波方式抵达。与此相对,那些由物体反射的光则被它修饰,如此一来,一部分波到达底片更早,一部分到达更晚,这取决于它们在物体哪里被弹开。两束光的相关干扰形成了明亮和黑暗的光点——全息图。

研究人员通过仿真和实验验证了障碍物后面的LCD数字变化的实时读取。

他们提出一种全光学的深度学习框架:衍射深度神经网络。该架构采用基于深度学习算法的无源衍射层设计,经误差反向传播法训练后,能够以接近光速的速度,实现多种复杂的机器学习功能。

这样的二维图像看起来是随机的,和物体本身完全不同。正如光波以一种最初反射自物体的产生波阵面的方式散射或衍射那样,但该物体的三维幻影可通过发出另一束光如参照光到底片上被恢复。

在普通房间中放置了一块小LCD屏幕,实时显示数字变化,在旁边放入视觉传感器,同时面对挡板,并在他们之间加上不透明的障碍物。视觉传感器只能采集到挡板上漫反射的光。

相关研究成果发表于7月26日的《科学》期刊。

现在,慕尼黑理工大学研究生Reinhard和Philipp Holl利用来自一个WiFi路由器而非激光的无线电波,形成一个宽度约1米的薄铝十字架的全息图,相关成果近日发表于《物理评论快报》。

研究人员采用了一台两百万像素的CMOS相机完成这个实验,采购成本不超过2万人民币,远低于采购用于探物的脉冲激光相机所需成本。

技术

这项实验并未依赖WiFi信号中编码的数百亿个数字信息中的任何一个信息,事实上,这些信号是干净的、“连贯的”波。然而,研究人员并没有将关键的干扰模式记录到照相底片上,而是用一个WiFi发射机在计算机中重建了该物体。他们把一个WiFi发射机放在房间内十字架后面0.9米的地方。然后,他们又将一个标准的WiFi接收器放在十字架前1.4米的地方并缓缓地前后移动它,从而形成一个代替照相底片的“虚拟屏”。而且,他们并没有隔开直接到达屏幕的参照光,而是在几米远的地方之外放置了另外一个固定接收器,在那里可以直接看到发射器。

图片 3

日常生活中,我们见到大量的智能摄像头在识别物体。例如,当你存钱时,有些自动柜员机可以读出你手写的美元金额。再例如,某些互联网搜索引擎,能将读取的照片与数据库中的其他相似照片进行匹配。但是,这些系统都需要依靠技术设备来识别物体。首先,它们利用摄像头或光学传感器看物体,然后将看到的物体处理成数据,最后用计算机程序来搞清楚它是什么。

对于虚拟屏幕上的每个点,研究人员对比了同时抵达两个接收器的信号,并通过由铝十字架导致的延后制作了一个全息图。虚拟的全息图并不像传统那样,因为研究人员不能通过向其照射更多无线电波来恢复图像。相反,科学家利用计算机将无线电波在屏幕上适时向后拉到波阵面撞击物体的地方。十字架随后弹了出来。

LCD屏幕上实时显示的是经典的MNIST手写数据集,当携带MNIST数字信息的相干光经过挡板漫反射后,形成散斑图。如下图所示,分别是数字0-9及其对应的散斑图。由于散射和干涉的作用,所有的图像都布满散斑。

可是,这种处理的速度往往不够快,以至于无法满足高速识别的应用需求。然而,UCLA 开发的衍射深度神经网络系统,有望超越这些设备。它利用物体自身反射的光线识别物体,识别耗时非常短,就像计算机简单看一下物体那么快。该设备无需复杂的计算机程序,就可以处理物体图像,并在光学传感器获取图像数据后判断出物体是什么。这种设备只是利用了光线的衍射,所以运行时没有能量损耗。

“很明显从图像上看,那里有一个十字架。”盐湖城犹他大学电气工程师Neal Patwari说,“这令人印象深刻。”但他表示,这种方法可能在杂乱的环境中并不能很好地发挥作用。

图片 4

这种新设备能加快数据密集型任务的执行速度。这些数据密集型任务通常包括物体的分类与识别。例如,无人驾驶汽车采用这种新设备,能比现有技术更快地响应停车标志。一旦停车标志的发出光线照射到汽车上,汽车就可以立即读取标志,而不必等待汽车的摄像头拍摄物体图像,再采用计算机硬件来搞清楚物体是什么。这项技术背后的发明,还可用于透视成像与医学,例如通过疾病标志来分类几百万种细胞。

此外,接收机和物体处于同一个屋子内,在那里很容易看得见十字架。在原理上,Reinhard说,可以把WiFi接收器放在屋子外面,对屋子内的物体成像。然而,加拿大蒙特利尔麦吉尔大学计算工程师、并未参加此项研究的Mark Coates警示,这可能有难度,特别是如果墙上有金属立筋时,还可以反射无线电波。“基本上,有很多光波来自如此多的方向,这种技术将非常具有挑战性。”Coates说。

所有的数据经过预处理后结合AI算法,实现障碍物后面的数字变化的实时识别。散斑图像的任一部分都包含了整个被识别物体的信息,因此,即使是散斑图的很小的一个部分,也可以用来进行物体识别。也就是说,散斑图像不同大小的裁剪和图像的不同位置,并不影响最终的识别效果。

创造这种人工神经网络的过程开始于计算机仿真设计。然后,研究人员用3D打印创造出极薄的、8平方厘米的聚合物晶圆。每个晶圆表面都很平整,这样有助于从不同方向上衍射来自物体的光线。对于人眼来说,这些衍射层看上去都是不透明的,但是实验中采用的亚毫米波段的太赫兹光线可以穿透它们。每一层都由成千上万的人工神经元组成,在这个案例中,它是指光线可穿越的微小像素。

Reinhard想的主要是把一系列WiFi感应器放在一个工厂的天花板上,来制作能够更好地跟踪标注着射频识别标签的全息图。Patwari提示,其他研究人员已经研发了更简单的方法利用偏离的WiFi信号跟踪大楼内人们的移动。这样的射频跟踪技术将很快启动,Patwari预测:“未来5到10年,人们将会把WiFi更多地用于定位,而非交流。”

图片 5

一组像素化的衍射层共同形成了一个光学网络,来自物体的光线通过它们时会受到影响。因为来自物体的光线被大部分朝着分配给那种物体的单个像素衍射,所以这个网络可以识别物体。

《中国科学报》 (2017-05-08 第3版 国际)

为充分探寻该方法的适用性,研究人员还针对不同场景进行了实验。包括经过一面墙反射的散斑识别,经过两面墙反射的散斑识别,经过旋转墙反射的散斑识别,以及光源和视觉传感器位于同侧的散斑识别。所有实验的平均识别准确率高达91%以上。如下表是每个实验的具体识别率。

然后,当物体发出的光线穿过设备时,研究人员采用计算机学习每个物体所产生的衍射光线图案,训练网络去识别前方的物体。这种训练采用了人工智能的一个分支技术,也称为深度学习。在深度学习中,随着图像的出现,机器通过重复计算和时间推移展开学习。

每日科学网站相关文章

图片 6

UCLA 电气与计算机工程系教授、该研究的首席研究员 Aydogan Ozcan 表示:直观上,这就像一个非常复杂的玻璃和镜子组成的迷宫。光线进入衍射网络,并在迷宫中四处反射,直到走出迷宫。通过大部分光线从哪儿走出迷宫,系统可以判断出物体是什么。

数字还远远不够,该论文还验证了障碍物后的人体姿态识别。如下图为12个人的同一个姿态对应的各自散斑图,可以看出,人体姿态识别包含了更多的复杂特征。即使是同一个动作,不同的人也会有显著差异。但是通过相应的AI算法,可以从散斑图像中提炼出隐含的相同特征,从而实现姿态的识别。

在实验中,研究人员展示了设备可精准地识别手写数字和衣服,两者都是人工智能研究中普遍用到的测试用例。首先,他们将图像放置在太赫兹光源前,让设备通过光学衍射看到这些图像。

图片 7

他们将设备训练成像镜头一样工作,可以将放置在光学网络前面的物体图像投射到它的另一侧,就像普通的相机镜头一样,但采用的是人工智能而不是物理方法。

下图为同一个人展示的10种不同的姿态,及其对应的散斑图。区分不同散斑图的特征,可以实现不同姿态的识别。

由于组件可通过3D打印制造,所以这种人工神经网络可以通过更大、更多的衍射层来制造,从而带来具有亿万神经元的设备。这些更大型的设备可同时识别更多的物体,或展开更复杂的数据分析,并且这些组件可以低成本地制造。UCLA团队制造的设备能以低于50美元的成本进行再生产。

图片 8

Ozcan 表示,虽然这项研究采用的是太赫兹频率的光线,但是未来也有望制造出可见光、近红外或者其他频率的光线。这种网络也可以通过光刻或者其他印刷技术制造。

通过深度学习的AI算法处理,以11个人的姿态作为训练样本,剩下的1个人做测试,遍历12个人,得到的平均识别准确率为78.18%,高于现有的3姿态识别的论文报道的准确率76.6%。10个不同姿态的混淆矩阵如下:

价值

图片 9

总结一下,这种衍射深度神经网络设备可通过3D打印制造,以接近光速的速度,执行传统计算机神经网络所能实现的各种复杂功能,并应用于全光学图像分析、特征检测和物体分类,还可以实现新型相机设计,制造出完成深度学习任务的光学元件。

该姿态识别的研究,在安防监控领域有广泛应用场景。比如识别被遮挡角落的危险行为,包括打架斗殴或其他有危险性的动作、军事及反恐行动中环境隐藏侦查,以及消防救援时获取屋内被困人员的信息等。

Ozcan 表示:从根本上说,这项研究为采用基于人工智能的无源器件,迅速地分析数据、图像和分类物体,打开了新的机遇。这种光学人工神经网络设备,直观地模仿了人脑处理信息的方式。经过扩展,它能够带来新型摄像头设计和独特的光学组件,无源地应用于医疗技术、机器人、安全或者任何需要图像和视频数据的应用。

图片 10

责任编辑:何周重

被遮挡角落的危险行为检测示意

该论文的方法跟其他的非视域识别相比,有不少优势。

比如熟知的TOF(Time of Flight)飞行时间法。虽然TOF方法对非视域物体的重构精度能达到厘米量级,但是在实际应用中需要昂贵的设备,比如单光子探测器和纳秒脉冲激光。而这篇论文的方法只需要普通激光器和CMOS图像传感器,具有普遍适用性。

另外,合刃科技此次论文中采用的是非成像识别方法,比成像识别具有更好的简易型和鲁棒性,无需昂贵的成像设备,算法中也无需复杂且耗时的图像重构,从而具有更好的适用性和普遍推广性。TOF方法一次数据采集和图像重建需要数分钟,但是该论文的方法用时不到一秒。当然,该论文的方法也有需要改进的地方,比如外界干扰可能引起散斑图的漂移,从而降低识别准确率。另外,经过多次漫反射后,光强会减弱,从而降低信噪比和识别准确率。因此,为提高非视距物体识别效果,后续需要更稳定的硬件和更优化的深度学习算法。

在此次论文提出的非视距物体识别技术之外,合刃科技还致力于全息全频机器机器视觉系统的研发和商业化。

全息全频机器机器视觉系统从数据采集端进行重新设计,应用了先进的集成光学技术,颠覆性的对CMOS图像传感器进行纳米结构升级,结合AI算法,软硬件一体化采集多个维度的光学信息,实现传统视觉传感器和人类视觉所无法完成的多维度全息图像信息采集。全面提升视觉识别性能,扩展多种特殊应用场合。

可以进行障碍物体识别、雨雾环境等恶劣环境的物体识别、黑色、白色等背景色的物体识别、不明显的瑕疵识别,解决拍照遭遇反光、对玻璃的无法拍照、光谱不够多等目前计算机视觉领域的常见问题,技术将应用于智能制造、安防、无人驾驶辅助驾驶、智能穿戴设备等多个领域。

光是一种电磁波,有很多的特征物理量,包含相位、光强、光谱、偏振、方向等信息。传统的计算机视觉仅用到了光强信息,这就导致了原本丰富信息其实并未得到充分利用,这也将最终影响到识别的边界和效果。

而此次论文提出的非视距物体识别技术,在此基础上仅增加了对相位信息的收集与利用,便能够创造出如此丰富的应用场景,解决多个领域里的难点痛点。随着我们对“光”的进一步探索,对更多的物理量进行获取与计算,必然能打破识别边界。

光电+AI,这个世界远比我们能够看到的更加丰富多彩。

本文由bob体育官方平台发布于外军资讯,转载请注明出处:科学家成功用无线电波生成全息图像,识别物体几乎零延时

关键词: