EXO 是一个用于在日常设备上运行 AI 集群的分布式推理框架,采用 p2p 连接而不是主从架构。该项目旨在将本地异构设备联起来,以便运行大尺寸的AI模型,如Llama3.1 405B。用户可以通过简单的设置,将多种设备整合为一个强大的AI集群,进行机器学习和深度学习实验。
Xorbits Inference(Xinference)是一个功能全面的分布式推理框架,支持大语言模型(LLM)、语音识别模型、多模态模型等各种模型的推理。它适用于研究者、开发者和数据科学家,支持一键部署自定义模型或内置开源模型,可在笔记本电脑、千节点集群及边缘设备上运行。
Okrolearn是一个由Okerew创建的机器学习库,旨在简化机器学习模型的构建和训练过程。它提供了一系列工具和功能,帮助开发者快速实现和优化机器学习算法,适用于研究和实际应用。
Inferflow是一个高效且高度可配置的大型语言模型推理引擎,旨在优化推理性能,支持多种自定义配置,以满足特定需求。
Obviously AI是一个无代码AI工具,允许用户快速构建和部署数据科学模型,无需编写任何代码。它提供了一键式解决方案,涵盖构建机器学习算法、解释结果和预测结果等数据科学过程。用户可以在几分钟内将原始数据转化为行业领先的预测模型,而不是几个月。
Substratus.AI是一个专注于大规模语言模型(LLMs)的平台,旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台,并通过单个命令轻松运行和微调最先进的LLMs。
nanotron是一个开源工具,旨在简化大型语言模型的训练过程,提供了一种高效的3D并行训练方法,从而更好地利用计算资源。
这是一个由Arcee AI开发的领域适应语言建模工具包,旨在通过适应性训练提高模型在特定领域的表现。它支持多种语言模型的微调,能够兼容多种数据格式,且易于集成和扩展。
Wale IDE是一个提供直观界面的平台,支持用户导入数据或创建新数据集,调节参数以优化提示,并查看提示执行历史。
Search-o1是一个增强大型推理模型的搜索工具,类似于为模型装上“搜索引擎”,使其在思考过程中能够随时查找知识,从而减少错误和不确定性,提升完成复杂任务的能力。
PomPrix是一个基于大型语言模型(如GPT-4)简化定价产品的工具。它旨在帮助企业更轻松地与客户沟通定价信息,提供可预测且更低的成本,同时确保用户体验不受影响。PomPrix还提供灵活的SDK,灵感来源于LangChain,便于快速实现。