FlexGen: 针对面向吞吐量的场景在单个 GPU 上运行大型语言模型,旨在提高模型的运行效率和简化部署过程。
一个关于大语言模型(LLMs)的实用指南和食谱,旨在帮助用户更好地理解和使用这些模型。
RAGFoundry是一个专注于增强大型语言模型在检索增强生成任务中表现的专业框架,通过微调技术实现快速原型设计与实验,旨在提高模型的生成质量和适应性。
Unsloth Zoo是一个提供用于Unsloth的实用工具库,旨在支持免费微调和加速大型语言模型,帮助开发者更高效地使用和优化语言模型。
XGrammar是一个开源的结构化生成库,支持通用的上下文无关文法进行广泛的结构化生成,提供经过系统优化的快速执行能力。
RWKV Infinite Context trainer 是一个用于训练任意上下文大小的工具,能够处理超过10k的上下文长度,同时在几乎恒定的VRAM内存消耗下运行。
Euclidean Fast Attention (EFA)算法的实现。该算法是一种高效的注意力机制,显著降低了计算成本,同时保持高性能,适合需要快速处理大量数据的场景。
Anyscale是一个统一的计算平台,旨在利用Ray简化可扩展AI和Python应用的开发、部署和管理。用户可以轻松地开始使用Anyscale端点进行服务和微调开源大型语言模型(LLMs)。
Firefly是一个中文对话式大语言模型,采用指令微调技术在中文数据集上进行优化,旨在提供高质量的中文对话生成能力,适用于多种应用场景。
SmolLM2是HuggingFace团队推出的轻量化AI模型系列,支持在资源有限的设备上运行,提供多个参数版本(135M、360M和1.7B),能够处理多种任务,特色是体积小、速度快,开发者友好,支持多种集成和部署方式。
一个用于促进和支持链式思考的工具库,旨在提高模型推理能力和理解力。
灵活、健壮和高效的Python软件包,用于支持MLOps(机器学习运维)项目,提供多种工作流支持,优化性能,加速模型部署和监控,易于与其他工具集成,同时提供用户友好的API,确保模型和数据集的版本控制。
一个用于生成自然语言文本的C++库,基于LLaMA和Stanford Alpaca,但资源开销很小,可以在本地消费级GPU上运行。
Wale IDE是一个提供直观界面的平台,支持用户导入数据或创建新数据集,调节参数以优化提示,并查看提示执行历史。
旨在探索一种新的实验性模型训练流程,以训练高性能的特定任务模型,将训练过程的复杂性抽象化,使从想法到性能优越的完全训练模型的过程尽可能简单。用户只需输入任务描述,系统将从头开始生成数据集,将其解析为正确格式,并微调LLaMA 2模型。
WizardLM是一个基于Code Llama微调的模型,专注于代码生成和相关任务,支持多种编程语言的代码编写与理解,提供模型的测试地址和下载链接,经过简单测试表现良好。
CodeTF是Salesforce出品的一站式代码类LLM工具库,提供了一套统一的接口用于Code LLM的训练、推导和微调,支持多种模型,易于扩展和集成。
基于论文知识复现 Pi(Physical Intelligence)智能视觉行动模型的开源项目,主要功能是模拟人类如何通过视觉和语言理解来指导行动。