Inductive Bias — 归纳偏置

事实

模型先天带着的假设和偏好。

人话

像老中医一搭脉，心里先有路数：还没开方，就默认有些症状更值得盯紧。

它会影响模型更容易学到什么，在小样本和架构设计里尤其关键。

相关概念

• 卷积神经网络
• Transformer 架构
• Bias-Variance Tradeoff（偏差-方差权衡）
• 统计学习理论

CNN
卷积网络把局部模式和平移不变性写进了结构里。

Transformer
不同架构的设计，本质上就是不同归纳偏置。

Bias-variance-tradeoff
归纳偏置越强，通常越容易降低方差但带来偏差。

Statistical-learning-theory
它是统计学习理论讨论泛化能力时的核心问题。