OpenAI 在 2019 年发布了 GPT-2 的多个版本，包括 117M、345M、774M 和 1.5B 参数的模型，其代码和预训练模型均托管在 GitHub 上。最初由于安全和滥用的考虑，OpenAI 采取了分阶段发布策略，后来在评估了风险之后逐步开放了全部版本。该项目采用 MIT 许可证开源，允许开发者自由使用、修改和部署。 
OpenAI 在 GitHub 上公开了 GPT-2 的完整源代码，包括模型的定义、训练和推理代码。这部分内容详细描述了基于 Transformer 的生成模型架构，是理解和复现 GPT-2 的基础。 
除了核心代码和权重之外，OpenAI 还提供了相关的辅助工具和文档，比如用于检测模型输出（例如检测生成文本中可能存在的安全或滥用风险）的代码，以及相应的模型卡（model cards），帮助用户了解模型的性能、局限性和使用注意事项。