索尼推出全球首款AI图画传感器1200万像素支撑4K60FPS

索尼近来宣告行将推出两款 AI 图画传感器，代号 IMX500 和 IMX501，声称具有智能视觉的 “全球首款 AI 图画传感器”。其间 IMX500 是无封装版，IMX501 是封装版，没有其他功能差异。

AI 图画传感器兼具运算才能和内存，可以在没有额定硬件辅佐的情况下履行机器学习驱动的核算机视觉使命，使得许多依靠机器学习算法的图画处理技能可以在本地运转，衍生出更简化、高效和安全的解决方案。

索尼事务与立异副总裁马克·汉森（Mark Hanson）以为，比较将数据发送到云端的解决方案，IMX500 的运用潜力巨大，本钱效益更高，尤其是在未来的边际核算范畴。它支撑 1200 万像素图画，以每秒 60 帧的速度捕获 4K 视频，或许不捕获任何图画，仅供给所见内容的元数据。

官方估计第一批搭载该传感器的产品最早将于 2021 第一季度上市，现在已有前期商业客户拿到了测验样品，IMX500 价格约 93 美元，IMX501 价格约 186 美元。

图｜IMX500（小）和 IMX501（大）（来历：索尼）

不过，第一代 AI 图画传感器或许不会出现在智能手机或平板电脑等顾客产品中。索尼的第一批方针是零售商和工业客户，比方亚马逊 Go 无人商铺，其他运用场景包含访客计算、交通状况和人流量热图制作等。

以亚马逊无人商铺为例，每家商铺中都装有上百个 AI 技能加持的摄像头，用来追寻顾客的举动轨道，捕捉他们在货架上的购买行为，终究创立购物清单完结结账。稀有据剖析显现，对运算才能和数据处理的高要求推高了硬件本钱，并减缓了 Go 商铺的推行速度。

汉森指出，“制作这种商铺需求上百个摄像头，每天要生成和处理 PB 等级的数据（1PB 等于 100 万 GB），假如咱们我们可以把运算才能缩小并放在每一块芯片上，就能轻松完结更多风趣的工作。”

除了节约本钱，具有本地运算才能的 AI 芯片还可以供给更好的隐私保护环境。将 AI 技能与图画传感器结合起来后，针对方针方针的检测和辨认都可以在设备上完结，无需将数据发回云端剖析，只需求传回元数据即可，削减灵敏信息被盗取和绑架的危险。

图 | IMX500 和 IMX501 的具体参数（来历：索尼）

索尼表明，在履行图画处理使命时，IMX500 的运转速度也比其他 AI 摄像头快得多。它可以在 3.1 毫秒将规范图画辨认算法 MobileNet V1 运用于单个视频帧。

比较之下，谷歌 Clips 相机和大疆精灵 4 无人机所运用的 Movidius 核算机视觉芯片（2016 年被英特尔收买），或许需求数百毫秒以上的处理时刻，相差 30 多倍。

这一点在工业自动化协作机器人上至关重要。它们一般会在车间与工人调配协作，出于安全要素考虑，驱动它们的核算机视觉芯片需求具有快速检测人类方针的才能。这样做才可以在发生意外时快速停止工作，防止误伤。

现在第一代 IMX500 还存在必定的局限性，只能运转比较根底的机器学习算法，还不具有处理杂乱使命的才能。

面临日益添加的无人驾驶等需求，索尼期望未来将 IMX500 打造成一个简略的单运用设备，即专门应对杂乱和多样化使命的专用AI硬件，具有处理和剖析更杂乱使命的才能，而不只局限于运转根底算法。

索尼首席履行官吉田宪一郎清晰表明，新产品契合公司的长时间方针，即扩展其传感解决方案的品种并寻求更多样化的经常性收入。

现在在图画处理范畴，索尼具有巨大的影响力，商场占有率超越 60%，上一年传感器出货量约为 16 亿枚。因而索尼以为，一旦技能完结屡次迭代走向老练，巨大的占有量足以协助其大规模推行 AI 图画传感器，打入顾客商场。

-End-

参阅：

https:///news/articles/2020-05-14/sony-builds-ai-into-latest-image-sensor