LLMPruner是一款专为大语言模型设计的裁剪工具,旨在优化模型性能并减少其参数量。它支持多种模型架构,并提供可视化工具,方便用户了解模型结构和裁剪效果,易于与现有机器学习工作流集成。
建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件,旨在优化吞吐量,简化在资源受限环境中训练中型模型的分布式方案设置工作流程,尤其适用于学术集群。
NyunZero是一个连接用户基础设施的工具,旨在快速适配和压缩视觉模型以及大语言模型(LLMs)。用户可以在几次点击中加速对象检测模型,或获得与硬件兼容的快速量化LLMs,适应用户的数据需求。
Portal是加载和可视化深度神经网络在图像和视频上的最快方式,基于TypeScript和React构建,并集成了Flask后端,提供高效的深度学习模型操作体验。
基于 MLX 框架的 Silicon LLM 训练和推理工具包,简化了在 Apple Silicon 上训练和运行大语言模型的过程,旨在为开发者提供高效、易用的工具,以应对资源有限的设备上的大语言模型需求。
中文Guanaco(原驼)大语言模型,支持QLora量化训练,可在本地CPU/GPU上高效部署,旨在优化大语言模型的效率,适用于低资源环境的训练和应用。
Xtreme1 是一个为多感官训练数据生成和处理而设计的平台,提供高效的数据标注和管理工具,支持深度学习模型的训练和评估,并且易于集成到现有的工作流程中。用户可以通过友好的界面和丰富的文档快速上手。
Tonic Validate Metrics 是一个开源的评估指标包,旨在为生成模型的输出提供多种评估指标,支持模型性能对比,易于集成到机器学习工作流,并兼容多种数据格式和输入类型。
Katana ML Skipper 是一个简单且灵活的机器学习工作流引擎,支持多种机器学习任务,具有强大的可扩展性,能够轻松集成其他工具和库,帮助用户高效地创建和管理机器学习工作流。
基于线性回归和神经网络的空气污染预测系统,利用传感器数据进行实时分析与可视化,帮助用户了解空气质量变化趋势。
bRAG-langchain 是一个完整的从入门到高级的RAG构建指南,适合想要深入学习和实践RAG技术的开发者。项目提供了从基础设置到高级应用的完整学习路径,涵盖查询构建、路由、索引、检索和生成的完整流程。通过多个 Jupyter Notebook,开发者可以逐步实现从简单到复杂的 RAG 应用,并掌握高级检索与重排技术。
LLM微调中心,用于将各种大型语言模型进行微调,以适应个性化用例,提供丰富的微调脚本和最新研究成果,支持模型部署及自定义微调,旨在提高模型在特定数据集上的性能。
FasterTransformer是一个高度优化的基于Transformer的编码器和解码器组件,提供高效的推理和训练性能,支持多种Transformer模型,并兼容多种深度学习框架,灵活配置以满足不同需求。
OneFlow-ONNX v0.6.0是一个用于将ONNX模型转换为OneFlow格式的工具,提升了转换接口的易用性,并新增支持多种模型和算子。
模块化 RAG 是一个旨在将复杂的 RAG 系统分解为独立模块的项目,采用先进的集成路由、调度和融合机制,支持高度可重构的框架,并分析流行的 RAG 模式,如线性、条件、分支和循环。
AI2开源的OLMo语言模型核心构建模块,基于PyTorch实现,提供了完整的模型训练和优化组件,支持多种规模模型(1B-13B)训练,包含flash attention、float8训练等高级特性
基于电子表格的深度学习模型可视化工具,帮助理解GPT内部机制,实现模型结构和数据流的可视化配置。
vocal-separate 是一个极简的人声和背景音乐分离工具,支持本地化网页操作,无需连接外网,使用 2stems、4stems 和 5stems 模型进行高效的人声和背景音乐分离。