阿良 - github.com/glidea/zenfeed (@ajd)[教程] TinyGPT: 在 Mac 本地从头预训练一个 能续写儿童故事的模型 中发帖

以前手写操作系统,手写数据库… 是程序员的浪漫 
现在 AI 时代得多加个手写 LLM(身为后端 CRUD Boy,滚回去补线代太不容易了)

特性

完整训练流程: 涵盖从 预训练(DONE)、SFT 到 DPO (WIP)
低门槛: 无需云端 GPU,同时兼容 Mac M 芯片
为学习而生:

内置 teacher AI,引导式教学
手写模型架构,且不追求性能和效果,仅使用经典算法做入门实现
有类型注释,懂的都懂 :woman_shrugging:t2:…



🚀 开始吧!

每个章节相互独立,可任意开始

也可直接让老师带你,比如:
# 在 Cursor,Claude Code 或任何带 Bash Tool 的环境中:
@teacher 带我预训练

[291adacc23c91ab1520bc90d81e698ed.png]

预训练: 手搓 10M 的超小模型(比...