该项目提供了一个完整的管道,用于在消费级硬件上微调ChatGLM LLM,结合了LoRA(低秩适应)和RLHF(基于人类反馈的强化学习)技术,旨在提升ChatGLM的能力,使其类似于ChatGPT。
Open Interpreter Local III是一款开源的本地模型运行和训练工具,支持高速推理和个性化模型定制。
基于微博开源的Rill Flow项目,旨在搭建大模型应用的技术平台,支持多种大模型的集成与管理,提供用户友好的界面用于模型训练和推理,兼容多种数据源与格式,支持分布式计算以提高模型训练效率,并具有丰富的监控与日志功能。
Refact.ai推理服务器是一个自托管的服务,基于Docker镜像,提供高可扩展性和灵活性,支持多种机器学习模型,并提供RESTful API接口,方便用户进行模型推理和管理。
Multimodal-Open-O1是一款本地运行的推理模型增强工具,旨在通过一种新的提示式方法提高本地推理模型的准确性,能够在本地环境中创建类似OpenAI-o1的推理链,支持多模态输入,适用于各种任务的推理需求。
Substratus.AI是一个专注于大规模语言模型(LLMs)的平台,旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台,并通过单个命令轻松运行和微调最先进的LLMs。
该项目演示了如何利用大模型进行蒸馏来构建小模型,从而在某些领域实现比大型模型更强的推理效果。
rtp-llm 是阿里巴巴大模型预测团队开发的 LLM 推理加速引擎,提供高性能、低成本和用户友好的推理服务,帮助客户和开发人员定制适合其业务的推理服务,从而促进业务增长
ai-gradio 是一个基于 Gradio 的 Python 库,旨在简化开发者与多种 AI 模型和服务的集成。它支持 15+ AI 提供商,包括 OpenAI、Google Gemini、Anthropic 等,提供文本、语音、视频交互以及浏览器自动化等多功能支持。无论是初学者还是专业人士,都可以通过 ai-gradio 快速创建和部署机器学习应用,无需复杂配置。
基于 MLX 框架的 Silicon LLM 训练和推理工具包,简化了在 Apple Silicon 上训练和运行大语言模型的过程,旨在为开发者提供高效、易用的工具,以应对资源有限的设备上的大语言模型需求。
GPT4All是一款在本地运行的大型语言模型(LLM),最新发布了V3.0版本,支持多种模型架构,并与多种工具和平台集成。它基于LLaMa模型,使用约80万条GPT-3.5-Turbo生成的数据进行训练,支持多种类型的对话,包括代码和故事。GPT4All完全本地运行,确保数据隐私,支持Windows、MacOS、Ubuntu等操作系统,并具有改进的UI/UX。
FluidStack是一个全球数据中心网络的GPU云平台,提供超过50,000个GPU,支持AI和大语言模型(LLM)的训练。用户可以免费开始使用并无缝扩展。
Scenario是一个基于Web的AI工具,使游戏专业人士能够以无与伦比的简便性和控制力生成高质量、风格一致的游戏资产。用户只需收集角色、道具、背景和概念艺术等训练数据并安全上传,即可轻松训练独特的AI生成器。
Flush AI是一个端到端的AI艺术工作室,利用稳定扩散技术快速生成多种风格的AI艺术。它提供云端部署Civitai模型的能力,减少推理时间,并允许用户通过SDK创建多模态工作流。
GPUX是一个提供GPU资源的平台,旨在为AI和机器学习工作负载提供快速高效的处理能力。它具备无服务器推理能力,并利用StableDiffusionXL、ESRGAN和WHISPER等技术进行高性能处理。用户可以访问其于2023年4月20日推出的V2平台,按照指示部署AI模型并运行无服务器推理。GPUX还提供博客部分,包含发布信息、案例研究和AI技术。
Lightning + Colossal-AI 是一个结合了Colossal AI和Lightning AI强大功能的大规模分布式模型训练框架,旨在简化模型训练和部署过程,同时优化内存使用和计算效率,具有强大的可扩展性,适用于多种硬件配置。
一个创新的基准测试框架,专门评估大语言模型(LLM)和视觉语言模型(VLM)在游戏环境中的智能Agent能力。支持本地部署和主流AI API集成,提供完整的评估工具集,可用于测试模型在长期交互任务中的推理表现。
FasterTransformer是一个旨在提高Transformer模型速度和效率的工具,支持多种架构如BERT和GPT,提供高性能的推理和训练,且易于集成。它支持FP16和INT8量化技术,能够在NVIDIA GPU上实现高效的模型推理和快速训练,适合在生产环境中部署优化后的模型。