LitGPT 实现 LLM

Orchestra-Research/AI-Research-SKILLs/01-model-architecture/litgpt

12.1k 0TeX研究
平台通用(跨宿主)

用 Lightning AI 的 LitGPT 实现并训练 LLM,含 20+ 预训练架构(Llama、Gemma、Phi、Qwen、Mistral)。需干净模型实现、架构教学理解、或 LoRA/QLoRA 生产微调时使用。单文件实现、无抽象层。

全部 skill