AI Rookies

Mechanistic Interpretability — 机制可解释性

事实

通过分析内部电路解释模型行为的研究。

人话

机制可解释性像翻学霸草稿纸:不只判对错,还看哪步偷偷开挂。

用于追踪模型知识、偏见和风险开关,支撑安全评估。

相关概念

XAI
机制可解释性是更“拆机式”的 XAI 分支。

LLM
它试图找出大模型内部哪些部件在起作用。

Transformer
很多研究会追踪注意力头和神经元电路。

Alignment
看懂内部机制,能辅助发现潜在风险。