星标数：76028★ Fork数：9366 《LlamaFactory：100+ 大模型与视觉模型高效微调》

LlamaFactory 是一个开源的大语言模型微调框架，致力于让大模型微调变得像演示视频中那样简单。项目提供零代码的 CLI 与 Web UI，支持轻松微调 100 多种大语言模型，目前已在 Amazon、NVIDIA、阿里云等企业的真实场景中被使用。

项目提供了多种上手方式：本地训练可参考其使用文档；云端训练则可选择 Colab（免费）、PAI-DSW（免费试用）以及 AMD GPU Cloud（提供免费额度）。技术文档、AMD GPU 文档、ASCEND NPU 文档与官方博客也已列出，便于开发者查阅。

项目在 PyPI 上以 llamafactory 名称发布，同时提供 Docker 镜像，并可在 Colab、PAI-DSW、Hugging Face Spaces、ModelScope Studios、Novita 等平台上直接打开使用。

模型覆盖广：支持 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen3、Qwen3-VL、DeepSeek、Gemma、GLM、Phi 等多种模型，并对 Qwen3、Gemma 3、GLM-4.1V、Llama 4 等前沿模型提供 Day-N 级支持。
训练方法集成：集成（持续）预训练、（多模态）监督微调、奖励建模、PPO、DPO、KTO、ORPO 等多种方法。
可扩展的资源方案：支持 16-bit 全参微调、freeze-tuning、LoRA，以及通过 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 实现的 2/3/4/5/6/8-bit QLoRA。
先进算法与实用技巧：提供 GaLore、BAdam、APOLLO、Adam-mini、Muon、DoRA、LongLoRA、LoRA+、PiSSA 等算法，以及 FlashAttention-2、Unsloth、Liger Kernel、RoPE scaling、NEFTune 等技巧。
任务场景丰富：覆盖多轮对话、工具使用、图像理解、视觉定位、视频识别、音频理解等任务。
实验监控与推理加速：支持 LlamaBoard、TensorBoard、Wandb、MLflow、SwanLab 等监控工具，并可通过 vLLM worker 或 SGLang worker 提供 OpenAI 风格 API、Gradio UI 与 CLI 的更快推理。

📊 本项目 GitHub 星标数：76028。最后更新：2026-11-13，发布：2026-05-30。项目地址：https://github.com/hiyouga/LlamaFactory