星标数：108351★ Fork数：16759 《LLMs-from-scratch：从零实现类 ChatGPT 大模型》
本仓库是《Build a Large Language Model (From Scratch)》一书的官方代码仓库，包含用于开发、预训练和微调 GPT 类大语言模型（LLM）的全部代码。在本书中，你将通过从零开始、一步步编写代码的方式，从内部机制上学习和理解大语言模型的工作原理。
作者会引导你创建属于自己的 LLM，并用清晰的文字、图示和示例解释每一个阶段。书中所述的小型但功能完整的模型训练与开发方法，与构建 ChatGPT 背后等大规模基础模型所采用的思路一脉相承。此外，本书还提供了加载更大规模预训练模型权重并进行微调的代码。
仓库按章节组织代码，第 1 章介绍大语言模型概念（无代码），随后各章依次涵盖文本数据处理、注意力机制、从零实现 GPT 模型、无标注数据预训练、文本分类微调与指令微调等完整流程；附录部分还包括 PyTorch 入门、练习解答、训练循环增强技巧以及基于 LoRA 的参数高效微调等内容。
主要特点
- 完整覆盖 LLM 生命周期：从数据处理、注意力机制编码、GPT 模型实现，到预训练与微调的全流程代码
- 使用 PyTorch 从零实现，不依赖任何外部 LLM 库
- 提供加载更大规模预训练模型权重并进行微调的代码
- 每章配有主代码 Notebook、练习解答以及完整的补充代码目录
- 附录包含 PyTorch 简明入门、训练循环增强（Bells and Whistles）及 LoRA 参数高效微调
- 提供 Troubleshooting 排障指南，代码在 Linux、Windows、macOS 平台均通过自动化测试
快速开始
git clone --depth 1 https://github.com/rasbt/LLMs-from-scratch.git如需安装 Python 及相关依赖包、搭建代码运行环境，可参考仓库 setup 目录下的 README.md 文件。
📊 本项目 GitHub 星标数：108351。最后更新：2026-11-09，发布：2023-07-23（创建）。项目地址：https://github.com/rasbt/LLMs-from-scratch
