在最近的“嵌入式视觉峰会”上,Expedera 首席科学家兼联合创始人 Sharad Chole 详细介绍了 LittleNPU,这是我们推出的全新人工智能处理方案,适用于“随时感应”智能手机、安全摄像头、门铃和其他消费设备。“随时感应”摄像头会持续对视觉数据进行采样和分析,以识别与用户体验相关的特定触发因素。“随时感应”功能能够实现一系列新用例,例如:
- 用于门禁系统的面部识别
- “人脸查找”检测,用以打开、关闭设备的显示屏或使其亮度降低,从而实现节能
- 手势识别,实现创新的用户体验控制和可操作性
- 运动检测,实现可节省带宽的安全功能
- 目标检测,可捕获事件或触发因素
- “肩窥”提醒,实现更高的隐私性
就像 Siri 和 Alexa 等随时监听应用程序一样,“随时感应”摄像头可以提供更自然的无缝用户体验。“随时感应”音频和视频必须在设备本地进行处理,以提供所需的快速响应时间,实现令人满意的用户体验。然而,由于所生成数据的数量和复杂性,“随时感应”摄像头需要专门的处理功能。由于 ISP/DSP 无法以可节省功耗或面积的方式提供必要的处理功能,原始设备制造商 (OEM) 正在转为使用专门的 AI 引擎。
功率、面积和隐私是“随时感应”功能的真正关注点。首先讨论功率。尽管储能密度在不断提高,但下一代设备对电池的要求也总是越来越高。即使是壁式供电设备也面临监察,消费者、企业和政府都要求降低能耗。“随时感应”子系统(摄像头、NPU 和相关内存)必须尽可能降低功耗才能成功。再讨论面积要求 — 无论是从设计角度还是从硅片成本来看,都是面积越小越好。需要将面积作为子系统的函数进行考虑,不仅仅是 NPU,而且还包括所需的内存。隐私和数据安全也是需要关注的重要问题;“随时感应”系统的架构必须能够安全地捕获和处理来自摄像头的数据,而无需存储或暴露数据。此外,NPU 子系统必须与设备的安全协议协同工作,从而对用户数据进行最好的保护。
那么,如何以一种可减少功率、降低延迟并提高隐私性的方式,来实现“随时感应”功能?AI 处理流程最好是通过 NPU(神经处理单元)完成。虽然许多现有应用处理器内部都具有 NPU,但这些 NPU 并不是用于实现“随时感应”功能的理想载体。我们会做出解释…
典型的应用处理器 (AP) 是一种混合异构计算方案,其中包括 CPU、ISP、GPU/DSP 和 NPU。每个处理器都专为特定计算和潜在大型处理负载而设计。例如,典型的通用 NPU 可能提供 5-10 TOPS 性能,典型功耗约为 4 TOPS/W,利用率约为 40%。然而,该 NPU 的效率很低,因为它不得不在某种程度上过度设计,以处理最坏情况下的工作负载。
但难点在于,正如所讨论的,“随时感应”处理流程需要以最有效的方式消耗尽可能最低的功率。正因为如此,“随时感应”神经网络经过了专门设计,只需要最少的处理功能,通常以 GOPS 为衡量单位,GOPS 为 TOPS 的千分之一。虽然现有 AP 中的 NPU 能够进行“随时感应”AI 处理,但由于各种原因,这并非理想之选。首先,功耗将更高,这对“随时在线”功能来说不可接受,因为会直接导致电池使用时间缩短。其次,低延迟对于即时用户交互响应至关重要。由于基于 AP 的 NPU 通常忙于处理另外的任务,其他进程可能会增加延迟,并对用户体验造成负面影响。最后,隐私问题基本上排除了使用应用处理器的可能。这是因为“随时感应”摄像头的数据需要与系统的其余部分隔离,并且不得存储在设备内,也不能传输到设备外。这很有必要,以限制该类数据的暴露,并减少恶意人员窃取数据的机会。
因此,解决方案即是 LittleNPU,这是专门设计并实现的专用 NPU,能够以绝对最小的面积、功耗和延迟处理“随时感应”网络。虽然 LittleNPU 提供相对温和的处理能力,为 500 GOPS 至 1 TOPS,但这种水平的处理能力非常符合“随时感应”功能的需要。它采用 Expedera 市场领先的 18 TOPS/W OriginTM 架构,确保将功耗降至最低程度,以延长电池使用时间。我们估计,大多数“随时感应”网络可能只需要 10-20mW 有效功耗。从延迟的角度来看,LittleNPU 也是理想选择。由于它们被设计为只处理“随时感应”网络,因此不会与设备内的其他进程发生竞争。这便可以实现绝对最低的延迟和最佳的用户体验。最后,用于“随时感应”的所有摄像头数据都保存在“随时感应”LittleNPU 子系统的边界内,这为安全实施方案提供更高的用户隐私,同时面积更小。尽管如此,这种方案并不能绝对保证安全性,应制定适当的设备级硬件和软件安全措施来保护这些信息。
Expedera 的 Origin E1 LittleNPU IP 可以通过多种方式实施。例如,许多 OEM 使用专用芯片来实施近传感器处理架构,这种专用芯片将 LittleNPU 与图像传感器置于单个子系统中(下方所示的 #1)。其他 OEM 可能会采用协处理器路线,其中,NPU 与 ISP 结合在含有设备内所有必要内存的独立芯片上 (#2)。我们预计 LittleNPU 将最终完全集成到 AP,其中,子系统占用专门的区域,并具有自己的功率岛和内存 (#3)。
此外,“随时感应”功能是智能手机、安全摄像头、家用电器和其他消费设备的必然演变趋势。然而,要想取得成功,其架构必须能够在保证电池使用时间和隐私的同时,提升关键用户体验。
有关 LittleNPU 解决方案的更多信息,请访问 Expedera 的 E1 页面,或者联系我们,我们将与您保持联系!