从零开始的OCR-0——基础篇[VLM]

学习目标：掌握 VLM 的基础组成与数据流 → 理解 Vision Encoder、Projector、Q-Former 与 LLM 的连接方式 → 掌握视觉语言对齐与多阶段训练 → 理解 LLaVA、BLIP-2 两种代表性架构的设计差异，为后续现代 VLM 架构学习打下基础。→ ???(架构篇将带来更难更多更复杂的核心设计) 
难度：⭐⭐ 
重要性：⭐⭐⭐⭐⭐ 
曾经，它通晓万卷典籍，却不曾真正看见这世间的山河。如今，视觉为眼，语言为魂，二道归一……沉睡已久的天眼，终于睁开了。 

CLIP 始终无法做到 “交互式” 的对话，因此有一个简单的思路实现 VLM ，即把 CLIP 提取的图像特征送入到 LLM 中，这就是许多 VLM 架构的基本思路。 
最简单的 VLM
考虑自己搭建一个 VLM，首先需要一个提取视觉特征的，我们可以用预训练的 V...