Byzer-LLM开源项目 – 全生命周期的 LLM 解决方案

基于 Ray 的 LLM 全生命周期解决方案，包括预训练、微调、部署和服务，支持 Python/SQL API，基于 Ray，易于扩展
Byzer-LLM的特点:
1. 支持预训练和微调
2. 提供部署和服务功能
3. 易于扩展，基于 Ray 架构
4. 支持 Python 和 SQL API

Byzer-LLM的功能:
1. 进行 LLM 的预训练
2. 对 LLM 进行微调以适应特定任务
3. 部署 LLM 并提供服务接口
4. 通过 SQL API 进行数据查询和处理

相关导航

VerifAI’s MultiLLM官网 – 开源框架并行调用LLM

VerifAI的MultiLLM是一个开源框架，通过并行调用多个大型语言模型（LLM）并对其输出进行排名，以找到最佳结果（真实值）。该框架可扩展以支持新的LLM和自定义排名函数，从而评估来自不同LLM的多样化输出。

dstack官网 – 简化LLM开发的开源工具

dstack是一个开源工具，可以在任何云环境中简化大型语言模型（LLM）的开发。它使开发者能够利用开放的LLM，降低云成本，避免对供应商的锁定。

Terracotta官网 – 快速直观的LLM实验平台

Terracotta是一个平台，使用户能够快速直观地实验大型语言模型（LLMs），支持模型管理、微调和评估。用户可以安全存储数据，针对分类和文本生成微调模型，并进行定性与定量比较。

Appsmith AI官网 – 智能应用开发平台

Appsmith AI是一个创新的平台，旨在简化AI驱动应用程序的创建和部署，提升生产力和效率。它允许用户构建自定义界面并集成各种大型语言模型（LLM），以增强聊天、数据和文档分析。该平台的低代码环境使得即便是有限编码经验的用户也能轻松使用。

LLMWare.ai官网 – 专为企业设计的AI工具

LLMWare.ai是一个前沿的AI工具，旨在革新复杂的企业环境，特别是在金融、法律、合规和监管密集行业。通过提供专业的语言模型和强大的AI框架，LLMWare.ai简化了AI应用的开发和部署，提升了生产力和效率。该工具针对需要数据敏感处理和在私有云环境中无缝集成的企业量身定制。

IPEX-LLM开源项目 – 加速本地大语言模型推理和微调

IPEX-LLM 是一个专为在 Intel Xeon 和 Arc GPU 系统上运行大型语言模型（如 DeepSeek-R1-671B-Q4_K_M）而设计的项目。它支持多种模型格式和量化技术，提供便携式部署方案，并优化性能以充分利用硬件资源。此外，IPEX-LLM 还支持多语言文档，包括中文，帮助用户快速上手和解决问题。

VPTQ开源项目 – 高效压缩大型模型

VPTQ（Vector Post-Training Quantization）是一种创新的向量后训练量化技术，由微软开发。它能够在无需重新训练的情况下，将大型模型（如70B和405B模型）压缩为1-2位，同时保持高精度和高效的推理性能。该技术利用矢量量化代替传统的基于标量的权重量化，使用查找表将向量压缩为索引，从而实现更高的准确度和吞吐量。

LLM Book开源项目 – 一本讲解大模型的实用电子书

一本实用的电子书，讲解大模型的基本理论、预训练、微调与对齐、大模型使用及评测与应用等内容。

peft_pretraining开源项目 – 参数高效的语言模型预训练

是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练，并引入了一种名为ReLoRA的方法，利用低秩更新来训练高秩网络。

Dolomite Engine开源项目 – 超优化的大型语言模型训练库

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。

textsum开源项目 – 基于 Transformer 的文本摘要工具

textsum 是一个使用 Transformer 摘要模型的工具，能够处理任意长度的文本文档，支持生成高质量的摘要。它提供了命令行接口和 Python API，使得用户可以方便地集成和使用该工具。

ChatLM-mini-Chinese开源项目 – 中文对话的小型生成模型

ChatLM-mini-Chinese是一个中文对话0.2B小模型，旨在整理生成式语言模型的训练流程，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。

源2.0开源项目 – 新一代基础语言大模型

源2.0是浪潮信息发布的新一代基础语言大模型，开源了102B、51B和2B三个模型版本。该模型在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，增强了在语义、数学、推理、代码、知识等方面的理解能力。提供了预训练、微调、推理服务的相关脚本，支持多种部署方式，包括Hugging Face、TensorRT-LLM、FastChat等框架。

Maestro开源项目 – 加速多模态模型微调的工具

一个专为加速多模态模型（如 PaliGemma、Florence-2 和 Qwen2-VL）微调的工具，简化配置、数据加载、重现性和训练循环的设置。

mini_qwen开源项目 – 1B参数中英文大语言模型

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目，包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型，通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数，增加参数量到1B，并进行参数随机初始化。支持中英文，预训练和微调仅需要12G显存，直接偏好优化仅需要14G显存。使用flash_attention_2进行加速，使用deepspeed在6张H800上进行训练，探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。

PengChengStarling开源项目 – 多语言语音识别解决方案

PengChengStarling是基于icefall项目的多语言语音识别（ASR）模型，旨在一站式解决多语言语音识别难题。该项目支持多种语言，提供从数据处理到模型部署的完整流程，模型体积小且推理速度快，适用于多种应用场景。

Awesome-Robotics-3D开源项目 – 机器人领域3D视觉论文合集

一份精心收集机器人领域相关的3D视觉论文合集，包括政策学习、预训练、VLM和LLM、数据集和基准等相关论文、代码和相关网站。

MosaicML官网 – 专注于模型训练与微调的公司

MosaicML是一家专注于模型训练和微调的公司，发布了一系列新的大型语言模型(LLM)，其中包括专为故事创作设计的模型，旨在支持文学创作和儿童教育。

CodeTF开源项目 – 一站式代码类LLM工具库

CodeTF是Salesforce出品的一站式代码类LLM工具库，提供了一套统一的接口用于Code LLM的训练、推导和微调，支持多种模型，易于扩展和集成。

Lit-GPT开源项目 – 可定制的开源大型语言模型实现

Lit-GPT是一个基于nanoGPT的开源大型语言模型的可定制实现，支持多种先进技术，如Flash Attention 2、4-bit和8-bit量化、LoRA和LLaMA-Adapter微调以及预训练。该项目采用Apache 2.0许可证，支持Llama2、Mistral和Mixtral等模型，旨在提供灵活且高效的模型定制和优化方案。

暂无评论

暂无评论...