LLMsPracticalGuide 是一个精心整理的大型语言模型（LLM）实用指南资源列表，基于论文《Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond》构建，并得到 @xinyadu 的贡献。该仓库持续更新，旨在帮助从业者 navigate 大语言模型的广阔 landscape 及其在自然语言处理（NLP）应用中的使用。
主要用途：
- 提供 LLM 的进化树，追溯近年来语言模型的发展，并突出一些最知名的模型。
- 整理实用指南资源，包括模型、数据、NLP任务、提示工程、对齐、使用限制等。
- 包含基于模型和数据许可信息的使用限制。
- 提供决策流程图，帮助用户评估其下游NLP应用是否满足特定条件，从而确定LLM或微调模型哪个更合适。
主要能力：
- 模型指南：涵盖 BERT 风格（Encoder-Decoder 或 Encoder-only）和 GPT 风格（Decoder-only）的语言模型，列出具体模型如 BERT、RoBERTa、DistilBERT、ALBERT、UniLM、ELECTRA、T5、GLM、AlexaTM、ST-MoE、GPT、GPT-2、GPT-3、OPT、PaLM、BLOOM、MT-NLG、GLaM、Gopher、chinchilla、LaMDA、LLaMA、GPT-4、BloombergGPT、GPT-NeoX-20B、PaLM 2、LLaMA 2、Claude 2 等，并附有论文链接。
- 数据指南：包括预训练数据、微调数据、测试/用户数据，涉及 RedPajama、The Pile 等数据集及相关论文。
- NLP任务指南：涵盖传统NLU任务、生成任务、知识密集型任务、缩放能力、特定任务、真实世界任务、效率、可信度、基准测试、指令调优、对齐（安全、无害、真实、诚实）、提示工程（有用）、开源社区对齐努力等。
- 使用限制：提供模型和数据的使用限制（商业和研究用途）。
- 其他实用指南：链接到相关博客和仓库，如“Why did all of the public reproduction of GPT-3 fail?”、“Building LLM applications for production”、“Data-centric Artificial Intelligence”等。
使用方式：
- 用户可以直接访问 GitHub 仓库浏览资源列表。
- 仓库包含 PowerPoint 源文件（pptx）用于绘制进化树图，并已发布静态版本。
- 欢迎通过 pull request refine 图表。
- 如果使用资源，建议引用原论文。
适用场景：
- 研究人员和从业者了解 LLM 的发展历程和主要模型。
- 开发者选择适合其 NLP 应用的模型（LLM 或微调模型）。
- 需要了解模型和数据许可限制的用户。
- 学习 LLM 相关论文和资源的个人。
限制：
- 该仓库是一个资源列表，不提供模型本身或直接运行代码。
- 使用限制信息基于模型和数据许可，具体需参考原始许可。
- 部分资源可能随时间更新，需查看最新版本。
- 仓库内容为英文，暂无中文翻译。
