新人报道！附上我前段时间做的一个小项目，希望各位大佬多多指教。 

欢迎各位大佬访问我的项目主页： 
https://github.com/ystemsrx/mini-nanoGPT 
创作这个项目的初衷，是为了让更多人能够快速上手并深入理解 GPT 模型的核心原理与实践过程。我把项目做得尽可能地轻量和清晰，覆盖了数据处理、模型训练以及推理生成的完整流程，希望对初学者和需要快速实验的研究者都能有所帮助。 

我的初衷
很多大语言模型项目往往庞大又复杂，初学者容易在海量配置和代码中迷失，所以我想做一个**“小而全”的示例。Mini Nano GPT 虽然简洁，但它能让你在最短时间内亲手跑通一个 GPT 的核心流程**，同时又留有足够的扩展空间，可以随意添加新的模块或特性。 

项目功能


数据处理 

内置简单易用的分词与编码工具，可切换 GPT-2 分词或字符级分词。
支持多进程并行处理...