从零开始的OCR-0——基础篇[Transformer]

学习目标 ：能记住Transformer的完整流程 → 了解最重要的一些特点（QKV, Mask, Embedding, FFN参数） → 手撕MHA+FFN+位置编码 → 了解近几年有关Transformer的重大改进 
难度：⭐⭐⭐ 
重要性：⭐⭐⭐⭐⭐ 
古老而又强大的架构… 掌握了他才有资格进阶更高阶的技术… 

 [image] 
图片来自gpt制作 
整体流程：


得到 tokens： 
通过 Tokenizer。一般自然输入就是一段文字，若干个连续的字会被编码为一个Token ID。 
例如 ​I love machine learning​，可能就是被编码为 ​[1, 55, 101, 33]​ 4个Token ID。此时维度为 ​[B, N]​，​B​ 表示一次输入多少条文本，​N​ 表示经过 Tokenize...