在最近的“嵌入式视觉峰会”上，Expedera 首席科学家兼联合创始人 Sharad Chole 详细介绍了 LittleNPU，这是我们推出的全新人工智能处理方案，适用于“随时感应”智能手机、安全摄像头、门铃和其他消费设备。“随时感应”摄像头会持续对视觉数据进行采样和分析，以识别与用户体验相关的特定触发因素。“随时感应”功能能够实现一系列新用例，例如：
- 用于门禁系统的面部识别
- “人脸查找”检测，用以打开、关闭设备的显示屏或使其亮度降低，从而实现节能
- 手势识别，实现创新的用户体验控制和可操作性
- 运动检测，实现可节省带宽的安全功能
- 目标检测，可捕获事件或触发因素
- “肩窥”提醒，实现更高的隐私性
就像 Siri 和 Alexa 等随时监听应用程序一样，“随时感应”摄像头可以提供更自然的无缝用户体验。“随时感应”音频和视频必须在设备本地进行处理，以提供所需的快速响应时间，实现令人满意的用户体验。然而，由于所生成数据的数量和复杂性，“随时感应”摄像头需要专门的处理功能。由于 ISP/DSP 无法以可节省功耗或面积的方式提供必要的处理功能，原始设备制造商 (OEM) 正在转为使用专门的 AI 引擎。
功率、面积和隐私是“随时感应”功能的真正关注点。首先讨论功率。尽管储能密度在不断提高，但下一代设备对电池的要求也总是越来越高。即使是壁式供电设备也面临监察，消费者、企业和政府都要求降低能耗。“随时感应”子系统（摄像头、NPU 和相关内存）必须尽可能降低功耗才能成功。再讨论面积要求 — 无论是从设计角度还是从硅片成本来看，都是面积越小越好。需要将面积作为子系统的函数进行考虑，不仅仅是 NPU，而且还包括所需的内存。隐私和数据安全也是需要关注的重要问题；“随时感应”系统的架构必须能够安全地捕获和处理来自摄像头的数据，而无需存储或暴露数据。此外，NPU 子系统必须与设备的安全协议协同工作，从而对用户数据进行最好的保护。
那么，如何以一种可减少功率、降低延迟并提高隐私性的方式，来实现“随时感应”功能？AI 处理流程最好是通过 NPU（神经处理单元）完成。虽然许多现有应用处理器内部都具有 NPU，但这些 NPU 并不是用于实现“随时感应”功能的理想载体。我们会做出解释…
典型的应用处理器 (AP) 是一种混合异构计算方案，其中包括 CPU、ISP、GPU/DSP 和 NPU。每个处理器都专为特定计算和潜在大型处理负载而设计。例如，典型的通用 NPU 可能提供 5-10 TOPS 性能，典型功耗约为 4 TOPS/W，利用率约为 40%。然而，该 NPU 的效率很低，因为它不得不在某种程度上过度设计，以处理最坏情况下的工作负载。
但难点在于，正如所讨论的，“随时感应”处理流程需要以最有效的方式消耗尽可能最低的功率。正因为如此，“随时感应”神经网络经过了专门设计，只需要最少的处理功能，通常以 GOPS 为衡量单位，GOPS 为 TOPS 的千分之一。虽然现有 AP 中的 NPU 能够进行“随时感应”AI 处理，但由于各种原因，这并非理想之选。首先，功耗将更高，这对“随时在线”功能来说不可接受，因为会直接导致电池使用时间缩短。其次，低延迟对于即时用户交互响应至关重要。由于基于 AP 的 NPU 通常忙于处理另外的任务，其他进程可能会增加延迟，并对用户体验造成负面影响。最后，隐私问题基本上排除了使用应用处理器的可能。这是因为“随时感应”摄像头的数据需要与系统的其余部分隔离，并且不得存储在设备内，也不能传输到设备外。这很有必要，以限制该类数据的暴露，并减少恶意人员窃取数据的机会。
因此，解决方案即是 LittleNPU，这是专门设计并实现的专用 NPU，能够以绝对最小的面积、功耗和延迟处理“随时感应”网络。虽然 LittleNPU 提供相对温和的处理能力，为 500 GOPS 至 1 TOPS，但这种水平的处理能力非常符合“随时感应”功能的需要。它采用 Expedera 市场领先的 18 TOPS/W OriginTM 架构，确保将功耗降至最低程度，以延长电池使用时间。我们估计，大多数“随时感应”网络可能只需要 10-20mW 有效功耗。从延迟的角度来看，LittleNPU 也是理想选择。由于它们被设计为只处理“随时感应”网络，因此不会与设备内的其他进程发生竞争。这便可以实现绝对最低的延迟和最佳的用户体验。最后，用于“随时感应”的所有摄像头数据都保存在“随时感应”LittleNPU 子系统的边界内，这为安全实施方案提供更高的用户隐私，同时面积更小。尽管如此，这种方案并不能绝对保证安全性，应制定适当的设备级硬件和软件安全措施来保护这些信息。
Expedera 的 Origin E1 LittleNPU IP 可以通过多种方式实施。例如，许多 OEM 使用专用芯片来实施近传感器处理架构，这种专用芯片将 LittleNPU 与图像传感器置于单个子系统中（下方所示的 #1）。其他 OEM 可能会采用协处理器路线，其中，NPU 与 ISP 结合在含有设备内所有必要内存的独立芯片上 (#2)。我们预计 LittleNPU 将最终完全集成到 AP，其中，子系统占用专门的区域，并具有自己的功率岛和内存 (#3)。
此外，“随时感应”功能是智能手机、安全摄像头、家用电器和其他消费设备的必然演变趋势。然而，要想取得成功，其架构必须能够在保证电池使用时间和隐私的同时，提升关键用户体验。
有关 LittleNPU 解决方案的更多信息，请访问 Expedera 的 E1 页面，或者联系我们，我们将与您保持联系！