去年写了一个比较理论导向的资料, 今年干了不少关于LLM的活. 对这玩意有了更具体的认知, 写一个更具体更有实操意义的资料合辑吧 前情提要:我是在从Algo去看的本身不是特别懂infra 对infra只停留在浅浅的观测为了干活(但也指出了一些好的资料). 
因为是写公开的帖子 所以说删去了一些内部分享的录屏 可能会导致学习难度变高 
ps: 本资料比较有深度 不是那么容易啃下来的哦 

训练算法 
预训练架构算法 
探秘Transformer 
科学空间 
预训练系统算法 
infra入门课程(topic介绍) 
infra进阶读物 
cuda算子优化 
训练并行算法 
如何大规模运行模型-从scale出发 
如何大规模运行模型-从train出发 
infra推理端 
Scaling Law 
scale law概览 
scale law的开端 术语背背 
scale law的一种拓展 
s...