人工智能芯片还能做什么？对自然的最新研究带来了新的灵感。
过去，图像分类分为几个步骤:首先利用传感器采集图像模拟信号，然后在计算机处理前进行数模转换。整个过程既费时又费力，就像眼睛将图像传递给大脑一样。
试想一下，如果人眼可以直接处理图像，而不干扰大脑，那么视觉图像信息的处理速度不是会大大提高吗？
今天，《自然》杂志的新研究是开创性的，因为“眼睛”被直接允许处理图像，而且效果反馈相当令人震惊:使用新的光敏元素，图像分类可以在40纳秒内完成，比计算机处理速度快几十万倍。
这太神奇了。
光电二极管网络
在核心部分，研究小组在芯片上构建了一个光电二极管网络，并选择2D半导体二硒化钨(WSe2)作为感光材料。
单个二硒化钨光电二极管示意图
光电二极管阵列由27个探测器组成，具有良好的均匀性、可调节性和线性，并排列成3×3成像阵列。像素尺寸约为17×17μm，每个像素由3个钨二硒光电二极管(子像素)组成。它对光的反应可以通过电网电压来调节。
也就是说，可以通过改变施加的电压来调节半导体对光的响应，从而调节每个二极管的灵敏度。
事实上，这将光电传感器网络变成了神经网络，它结合了光学传感和神经形态学计算，使其能够执行简单的计算任务。
改变二极管的灵敏度相当于改变神经网络中的权重。
第二，把重量放在传感器上
与其他神经不同，该系统的重量并不存储在计算机的内存和硬盘中，而是直接集成在图像传感器上。
实验中使用了由硒化钨光电二极管制成的特殊门电路。它的特点是可以调制，相当于神经网络的训练。
随着外部偏置电压的不同，二极管对光的灵敏度也不同，这相当于将网络的训练结果直接放在传感器端。
以前的神经网络将训练权重存储在外部存储器中，并通过电路将其发送到每个检测设备。
就像电脑的内存一样，断电后存储的信息会丢失。
这套设备更像一个硬盘，即使在断电后也能存储重量信息。
研究人员将调制电极(即浮动栅极)埋在氮化硼绝缘层中，首先向氧化铝绝缘层中的栅极施加电压，然后移除外部电压。
浮动栅极在接下来的2300秒内仍能保持光电二极管的调制，直到外部偏置电压发生变化。
研究人员用这种方法实现了两种类型的神经网络:分类器和自动编码器。
在分类器中，光电二极管阵列、芯片传感器和芯片外部的非线性激活功能一起工作。这种类型的神经代表一种监督学习算法，它可以将输入图像分成不同的输出类别
实际效果是什么？他们制作了一组3×3像素的“简单”字母，即n、v和z。
在图像传感器被训练之后，它只需要测量相应电路的电流是否为0就可以知道它是哪个字母。
从电压随时间的变化图可以看出，当传感器接收图像40ns时，n和v两个输入产生的电压开始出现很大的差异，约100ns后差异达到最大。
第二个神经网络是一个自动编码器，它可以在无监督的训练过程中学习输入图像的有效表示。它与解码器一起使用。训练解码器后，图像可以在其输出中再现。
编码器由光电二极管阵列本身组成，解码器由外部电子器件组成。
在这个过程中，图像传输数据被压缩。
第三，潜力巨大，但仍需要大量的后续研究。
在40纳秒内，两种不同的图像被区分开来，人工智能的视觉似乎向人脑的效率更进一步。
然而，应该注意的是，这项激动人心的新技术离实际应用还有很长的路要走。
首先，由于光电二极管阵列仅由27个检测器组成，因此最多只能处理3×3个图像。
其次，为了真正应用到自动驾驶和机器人技术中，视觉系统需要捕捉大视野的三维动态图像和视频。现在，这项技术将3D视觉信息转换成2D进行处理，失去了运动信息和深度。
其图像传感器阵列的平面形状也限制了广角相机的能力。
此外，根据《自然》的报道，论文中描述的设备在昏暗的光线下很难成像。此外，其设计需要高电压和高功率，相比之下，生物神经网络中的每个操作消耗15至13焦耳的能量。
从技术角度来看，用于芯片的薄半导体目前很难大面积生产和加工。
此外，虽然图像传感器具有采集和计算功能，并且减少了模数转换，但是外部电路中仍然存在固有的延迟问题，这将影响整个系统的等待时间。
然而，尽管仍然有大量的研究空，但是与传感器中的计算相关的研究已经促进了人工智能硬件的进一步发展。这一研究理念不仅局限于计算机视觉，还可以扩展到听觉、触觉和其他物理输入。
四.其他尝试
人们要求对图像信息进行越来越快的处理，许多科学家正在研究在输入端处理图像的方法。
最近，来自荷兰和美国的学者也发明了一种在传感器端直接处理图像的方法。
然而，它们不是输出图像的分类，而是输出图像的边缘，这对目标检测和语义分割具有重要意义。
他们在传感器前增加了一个“超表面”:不到半毫米厚的蓝宝石薄片镀有206纳米厚、142纳米高、300纳米间隔的硅条。
当它被放置在电荷耦合器件光敏芯片的表面上时，超表面就像一个透镜，光只能以一个陡峭的角度射向它，入射角小的光可以被过滤掉。
图像特征由不同的光波组成，过滤掉光波所携带的其他细节，只留下清晰的部分，如脸部边缘，而不是单色背景。
整个过程只需要150纳秒，而计算机需要几毫秒来处理，这是4个数量级的不同。
V.研究团队
最后，介绍奥地利维也纳理工大学的研究团队——安特雷纳集团。
论文的第一篇:卢卡斯·门内尔是电子工程和光子学专业的博士生。他作为访问学者去麻省理工学院交流和研究量子光子学。
Lukas Mennel
托马斯·穆勒
地址:https://www.nature.com/articles/s4158020-203x
更多关注微信公众号：jiuwenwang
