​爱因斯坦曾经说过：“我们不能用制造问题时的同一水平思维来解决问题。”

　　为什么我们喜欢大数字?

　　作为一名拥有 40 多年半导体业务研发总监和CMO管理经验的工程师，我认为我自己和我的同行都合乎逻辑。然而，我们中有多少人可以诚实地说我们没有被“我的产品比你的产品快”之类的说法所**?恐怕这只是人性。

　　问题始终是定义之一：我们如何定义“更快”或“更低功率”或“更便宜”?这是基准测试试图解决的问题——它是关于拥有一致的上下文和外部标准，以确保你在比较的是同类测试。任何使用基准测试的人都非常清楚这一点(比如aiMotive就诞生于一家**的 GPU 基准测试公司)。

　　在尝试比较汽车 AI 应用的硬件平台时，解决这种需求从未像现在这样紧迫。

　　什么时候 10 TOPS 不是 10 TOPS?

　　无论是否有专用的 NPU，大多数 SoC 都将其执行神经网络工作负载的能力称为 TOPS：代表每秒 Tera次的操作数。这只是 NPU(或整个 SoC)每秒可以执行的算术运算总数，无论是集中在专用 NPU 中还是分布在多个计算引擎(如 GPU、CPU 矢量协处理器、或其他加速器。)

　　但是，没有任何硬件执行引擎可以 100% 的效率执行任何工作负载。对于神经网络推理，某些层(例如池化或激活)在数学上与卷积非常不同。在卷积本身(或池化等其他层)开始之前，数据必须重新排列或从一个地方移动到另一个地方。其他时候，NPU 可能需要等待来自控制它的主机 CPU 的新指令或数据，每个层甚至每个数据块。这些都会导致进行更少的计算，从而限制了理论上的**容量。