专为大型语言模型(LLM)训练优化的类,集成了多种高效训练技术,旨在提升训练效率和内存使用效率。
该项目旨在实现稀疏和稳健的预训练语言模型,以提高语言理解的能力和效率。
CogVideoX Factory 是一个在 24GB GPU 内存下对 Cog 系列视频模型进行微调的项目,旨在实现高效的自定义视频生成,支持多种分辨率,提供内存优化的微调脚本和基于 TorchAO 和 DeepSpeed 的训练方式,适用于多种深度学习工作流。
一个用于端到端架构和大语言模型(LLM)的项目,旨在简化和优化开发过程。
Grok-1是xAI推出的开源大语言模型,拥有3140亿参数,适用于NLP任务,并提供JAX示例代码,便于加载、运行和微调。
EasyEdit 是一个用于编辑大型语言模型的 Python 框架,支持多种模型如 GPT-J、Llama、GPT-NEO、GPT2、T5 等。其目标是在特定领域或知识上高效地修改语言模型的行为,而不会对其他输入的性能产生负面影响。该框架易于使用且易于扩展,适合用于研究和开发语言模型。
实时、精细的大型语言模型合成数据资源列表,专注于为大型语言模型(LLM)提供数据支持,包括数据生成、优化和应用。
LLamaFlow是一个基于TypeScript的工具包,旨在与基于聊天的大型语言模型(LLM)进行高效交互。它在标准聊天完成API的基础上增加了结构化支持,并提供类型安全性验证、自定义内容验证hook,以及改进的发送和接收聊天消息API。同时,LLamaFlow还具备文本分割功能,以便有效处理Token限制,确保与模型的交互更加流畅和准确。
CAME(Confidence-guided Adaptive Memory Optimization)是一个旨在通过信心引导机制来优化模型内存使用的项目,提升大语言模型的性能。
PlugBear是一款能够快速将大型语言模型(LLM)应用连接至多种沟通渠道的工具,如Slack、Discord、Zendesk和电子邮件。它支持多种LLM应用构建器和框架,包括OpenAI的GPT、LangChain等,帮助用户轻松集成和管理AI聊天机器人。
UHGEval是一个用于无约束生成对中文大型语言模型的幻觉产生进行基准测试的工具,旨在帮助研究人员和开发者评估和分析模型的输出效果。
隐式非线性扩散模型的最大似然训练,旨在通过学习复杂数据分布来提升生成模型的性能。
Knostic是一款先进的AI工具,通过实施基于需要了解的访问控制,管理和控制大型语言模型(LLMs)的访问,确保企业能够安全高效地共享信息,防止数据过度共享,同时引导用户获取所需的精确信息。它与Microsoft Copilot等系统集成,提供精确个性化,提升了各行业的安全性和操作效率。
Open Interpreter 是一个可以在本地命令行中运行的代码解释器,它允许大型语言模型(LLM)在本地执行代码,支持多种编程语言并提供便捷的命令行界面。
旨在探索一种新的实验性模型训练流程,以训练高性能的特定任务模型,将训练过程的复杂性抽象化,使从想法到性能优越的完全训练模型的过程尽可能简单。用户只需输入任务描述,系统将从头开始生成数据集,将其解析为正确格式,并微调LLaMA 2模型。
基于LLM的系统,可帮助处理数据相关任务,连接不同领域和用户偏好的数据源,能自主管理、处理、分析、预测和可视化数据
是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练,并引入了一种名为ReLoRA的方法,利用低秩更新来训练高秩网络。
AnglE是最新的文本嵌入模型,旨在优化文本嵌入,作为新一代的语义文本相似度方法,取得了新的最先进(SOTA)结果。它提供了预训练模型,包括语言模型(LLM)和数据集。