将模型计算图编译为硬件高效执行代码的软件。
AI 编译器像煎饼摊老师傅:同一份面糊,换口灶也能摊得又快又省火。
它让模型在手机、GPU 等设备上跑得更快、更省资源。
ONNXONNX 提供通用模型表示,方便交给不同编译器处理。
CUDAAI 编译器可将模型计算映射到 CUDA 等硬件后端。
Inference engine推理引擎借助编译结果,更高效地运行模型。
GPUAI 编译器会针对 GPU 等硬件安排计算和内存。