AI Rookies

AI Compiler — AI 编译器

事实

将模型计算图编译为硬件高效执行代码的软件。

人话

AI 编译器像煎饼摊老师傅:同一份面糊,换口灶也能摊得又快又省火。

它让模型在手机、GPU 等设备上跑得更快、更省资源。

相关概念

ONNX
ONNX 提供通用模型表示,方便交给不同编译器处理。

CUDA
AI 编译器可将模型计算映射到 CUDA 等硬件后端。

Inference engine
推理引擎借助编译结果,更高效地运行模型。

GPU
AI 编译器会针对 GPU 等硬件安排计算和内存。