目前大多数可用的NPUs实际上并没有针对AI处理进行优化。相反，它们是以前的CPU、GPU或DSP设计的变体。每个神经网络具有不同的处理和内存需求，并提供独特的处理挑战，使得那些派生的NPU架构不是最理想的选择。Expedera的OriginTM是一种专为AI处理而构建的架构，专注于组成神经网络的基元，以及针对不同网络和工作负载优化的特征数据包处理。
让我们以更具相关性的方式来理解神经网络。在非常高的层次上，神经网络是一系列具有各自独特特征的层。层的独特特征可以被可视化为一系列的三维块，其中一些层比其他层更“高”、更“宽”或更“深”。
典型的AI处理器在处理AI网络层的差异方面存在困难。它们被设计用于处理一致的内存和处理负载，层的差异会导致低利用率和低效率，例如过度的能耗、结果的延迟和用户体验的降低。很明显，需要更高效的NPU解决方案，这就是Expedera的基于数据包的解决方案发挥作用的地方，为传统处理器提供了一个卓越的替代方案。
那么，什么是数据包，它们为什么重要？把数据包想象成神经网络路径上非常小、高效的部分。Expedera将层计算分解，使得一个包含有必要依赖关系的数据包可以横穿整个网络的定义部分。这些数据包可以重新排序并分派到任何可用的执行单元。这种简单而有效的方法简化了连接，在任何规模上优化了内存访问，并最终显著提高了效率和性能，为低效率的典型NPU提供了令人放心的替代方案。
数据包的一个关键优势是能够优化中间结果的计算。典型的NPU一次只能处理一个层，而且必须在继续处理下一层之前存储尚未使用的层的所有结果。通过将每个层分解为数据包，Expedera可以同时处理多个层。在这种基于数据包的网络遍历中，当一个层的结果不再需要时，它会被从内存中移除。一个很实用的好处是：可以减少从外部内存获取或者向外部内存发送数据的周期数。这种方法可以最小化甚至消除将中间结果移动到外部内存的操作，这是一个重要且实用优势。
通过数据包优化网络遍历，可以通过实现并行计算和内存访问来增加MAC的利用率。换句话说，Expedera NPU在给定频率和MAC核心数量的情况下，每秒可以执行更多的操作。较高的MAC利用率进一步增加了吞吐量，而不需要增加额外的带宽或计算。
数据包允许Expedera在不改变神经网络背后的准确性或数学计算的情况下，以更加高效的方式处理神经网络模型，尤其值得注意的是，通过网络的扩展路由数据包，Expedera可以最小化I/O操作，这意味着数据包直接解决了通常导致神经网络推理的功耗和延迟成本问题。
除了固有的性能和功耗优势外，数据包还为Expedera用户提供了以下优势：
- 不会牺牲准确性 —— 数据包化过程不会降低网络的准确性。AI模型将以与训练时完全相同的准确性进行推理。
- 直接处理您的训练模型 —— Expedera的软件堆栈会分析您的网络，并根据其独特特性进行数据包化。模型将以无需重新学习的方式进行处理。
- 无需学习 —— 数据包化在Expedera硬件/软件堆栈中处理，无需您学习复杂的定制编译语言。
- 无网络限制 —— Origin支持各种文本、视频、音频和其他网络，包括流行的LLM、LVM、RNN、CNN和其他类型。
Expedera的Origin采用数据包技术，使得功耗效率和面积效率更高，同时保持比市场上其他较差的NPU替代品更高的利用率，已经成为全球制造商出货超过一千万台设备的硬件优化选择。