LMFlow开源项目 – 语言模型工作流优化框架

nanoRWKV是RWKV语言模型的轻量级实现，专为快速实验与多种语言处理任务设计，兼容RWKV架构，基于nanoGPT优化了性能和效率，易于扩展和自定义。

Custom.MT是一个为本地化团队、语言服务提供商、产品经理和翻译人员设计的生成式AI和机器翻译平台。它提供了包括模型微调、机器翻译评估、内部机器翻译、语言数据匿名化、术语合规、翻译记忆清理、数据获取和开源机器翻译研讨会等多种服务。此外，Custom.MT还为流行工具如Trados、Smartling和memoQ提供AI翻译平台，以及API文档、博客、案例研究、事件和网络研讨会等资源。

OpenNMT-py是一个专注于机器翻译的开源框架，为自然语言处理领域提供可靠支持。它以高效的神经网络训练为基础，广泛应用于学术研究和企业开发，帮助用户构建精准的翻译系统。

基于LLaMA和SlimPajama的MoE模型，旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点，通过支持混合专家架构，提高模型的效率和性能，同时能够进行持续的预训练，以适应不同的任务，灵活的模型配置使其适用于多种应用场景。

Kansformers是一个基于知识增强网络（KANs）的Transformer架构，旨在提高自然语言处理任务的性能。它提供多种预训练模型，支持针对特定任务的微调，并具备高效的模型推理能力和灵活的API设计，适合多种应用场景。

Phoenix是一个notebook-first的Python库，利用嵌入技术发现LLM、计算机视觉(CV)、自然语言处理(NLP)和表格模型中的潜在现象和问题。它支持多种模型的可观察性，提供洞察发现工具，帮助识别和解决模型问题，并集成监控功能以实时跟踪模型性能，同时支持模型的微调和优化。

Adaptive是一个先进的AI工具，旨在改变企业利用大型语言模型（LLMs）的方式。它提供了一整套工具，通过强化学习技术对开放模型进行微调和部署，增强其性能，确保满足特定的业务需求，同时保护用户隐私。Adaptive特别适合希望通过优化模型适应性、快速推理和基于实时反馈的持续改进来提升生成AI能力的企业。

Yi是一个专为高效语言模型设计的开源框架，支持从零开始训练的大型语言模型。它包含两款双语模型Yi-6B及Yi-34B，均自研训练，参数规模分别为6B和34B。Yi通过优化算法与资源管理，提供从实验到部署的完整流程，支持多种语言的文本生成、对话系统和问答任务。

一个可定制、简洁、用户友好且高效的工具包，用于训练和微调大型语言模型，支持多种训练和优化方法，以提高模型性能和稳定性。

FunASR 是一个旨在连接学术研究与工业应用的语音识别工具包。它支持工业级语音识别模型的训练与微调，帮助研究者和开发者更方便地进行语音识别模型的研究与生产，推动语音识别生态的发展。FunASR 提供了丰富的预训练模型和便捷的脚本与教程，支持推理和微调，涵盖语音识别、语音活动检测、标点恢复、语言模型、说话人验证、说话人分离等多种功能。

XAIstream是一个专为实时AI处理设计的开源框架，为开发者提供构建低延迟智能系统的工具。它支持流式数据的高效处理，适用于动态场景下的模型应用。通过流式计算、推理加速、动态调度、硬件适配和接口支持等功能，XAIstream能够帮助开发者在各种实时场景中高效地应用AI技术。

一个开源工具包，用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter，提供更高级的功能，支持社区贡献与扩展。

MAP-NEO/document-convert是一个高效的转换管道，能够将PDF或扫描图像转换为类似Markdown格式，保留文档结构和格式，适用于多模态艺术投影项目。

Llama Cookbook是一个全面的指南，旨在帮助开发者轻松掌握LLaMA模型的推理、微调以及端到端应用的开发，适合从初学者到高级用户。

awesome-LLM-resourses 是一个涵盖广泛的LLM资源集合，包括数据集、微调、推理、知识库、智能体、书籍、课程、学习教程以及相关论文等内容。项目持续更新，旨在成为最好的大语言模型资源汇总，适合从入门到进阶的研究者和开发者使用。