一本实用的电子书,讲解大模型的基本理论、预训练、微调与对齐、大模型使用及评测与应用等内容。
NanoGPT是一个开源的轻量级语言模型训练工具,专为语言模型爱好者打造,适合在普通电脑上进行GPT架构的训练和实验。它通过精简架构、优化梯度计算和内存管理,使得在普通硬件上也能高效训练语言模型。
Fine-tune Phi-2是一个用于对Phi-2模型进行微调的项目,包含使用QLoRA技术进行微调、创建合成对话数据集以及支持多个GPU并行训练的功能。该项目提供了详细的示例代码和文档,允许用户灵活配置训练参数,以便优化模型的表现。
关于如何使用 Pydantic AI 和本地模型(如 Ollama 或其他 OpenAI 兼容模型)构建AI Agent的逐步教程。该教程提供了详细的指导,帮助用户理解如何将 Pydantic 与 AI 模型结合起来,并实现有效的数据验证和模型定义。
这个开源项目是一个响应式聊天应用程序,使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能,适用于开发人员。这个项目使用了Next.js、React和Joy等技术。
《动手学大模型》是一本开源书籍,共12章节,涵盖从基础到高级的大语言模型内容,包括语言模型介绍、文本分类、提示词工程、语义搜索、微调模型、多模态模型等。书中包含大量代码示例,可直接在Colab运行,帮助读者更好地理解和应用大语言模型。此外,书中还提供了丰富的实践代码,旨在帮助读者掌握大型语言模型的使用和应用,适合初学者和有经验的开发者。
该项目提供了一个关于大型语言模型推理的教程代码,涵盖了多种生成算法、元生成算法及高效元生成算法,旨在提高模型推理的效率和效果。用户可以通过该教程学习如何实施不同的算法,以优化文本生成和推理性能。
T5X Retrieval是Google Research开发的一个JAX实现的T5(文本到文本转换变换器),针对检索应用进行了优化。