BF16 — Brain Floating Point 16（脑浮点16）

事实

一种保留 FP32 指数范围的 16 位浮点格式。

人话

菜市场电子秤少显示几位小数，称量范围却原样保留：省屏幕，也不易把大数称爆。

训练和推理常用它，兼顾速度、显存和够用的精度。

相关概念

• 量化
• GPU 算力
• Tensor Processing Unit｜张量处理单元

Quantization
它属于低精度计算路线，但保留了较大的数值范围。

GPU
现代 GPU 可原生支持它，加速模型训练和推理。

TPU
TPU 早期推动了它在大规模训练中的普及。