VLM — 视觉语言模型

事实

同时理解图像和文本的多模态模型。

人话

VLM像相亲局里的细节控：看照片又读简介，连背景小狗都能聊出话题。

用于看图问答、搜图和巡检，让机器先看懂再回应。

相关概念

• 多模态
• 对比语言-图像预训练
• 大语言模型
• Vision-Language-Action model｜视觉-语言-动作模型

Multimodal AI
视觉语言模型是多模态 AI 的代表模型之一。

CLIP
CLIP 让图像和文字在同一语义空间对齐。

LLM
它常把视觉编码接到 LLM 上，回答图片问题。

VLA
VLA 在看懂图文后，进一步控制动作。