Meta训练和推理加速器(MTIA)官网 – Meta自研AI训练芯片

LLM-Tuning 是一个专注于简化大语言模型（LLM）微调过程的工具，支持多种模型与数据集，旨在帮助用户轻松实现模型训练与评估。

Streaming DiLoCo 是一种用于分布式训练大语言模型（LLMs）的方法，旨在减少通信带宽和延迟。通过部分参数同步、通信与计算重叠以及梯度量化到4位精度，该方法在保持模型质量的同时显著降低了通信需求，特别适用于带宽有限的环境。

由Amazon与Anthropic合作开发的AI超级计算机项目，基于AWS EC2 UltraCluster和Trainium2芯片构建，规模达Anthropic现有集群的五倍。旨在加速前沿AI模型训练与部署，解决模型准确性、训练效率和能源消耗等核心挑战，同时提供比Nvidia GPU集群低30-40%的成本优势。项目集成模型蒸馏、自动推理等创新工具，支持金融、法律、旅游等多领域AI应用。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。

Eureka Labs是一所全新的AI原生学校，采用“教师 + AI 共生”的模式，通过AI教学助手来扩展和指导人类专家编写的课程材料，为学生提供全面的学习体验。

min-LLM是一个轻量级的框架，旨在通过最小化代码来简化大语言模型（LLM）的训练过程。它提供了一个高效的训练流程，支持快速原型开发，并且易于集成和扩展，适合研究人员和开发者使用。

qlora-pipe是一个开源脚本，旨在通过在四块4090 GPU上进行定制训练，以高效的方式训练大型语言模型（LLM）。它支持多块GPU的并行训练，并提供多种配置选项以优化训练流程，确保用户能够根据不同的需求灵活调整训练参数。

Mistral 7B是Mistral AI发布的首个大型语言模型，具备强大的适应性和自然编码能力，支持8k序列长度，超越Llama 2 13B的所有基准测试，采用Apache 2.0许可证，可免费使用。

由 Hugging Face 分享的一份终极调参指南，旨在系统地讲解大语言模型训练的扩展、分布式训练技术的理解与实践，并弥补当前开源领域知识的零散问题。该指南详细介绍了在大规模GPU集群上训练大语言模型的各种技术和方法，包括显存使用、并行技术、性能评测等，并提供简化实现便于学习。

FATE-LLM是基于FederatedAI开发的联邦学习框架，支持大语言模型的分布式训练，旨在促进AI技术在保护知识产权和隐私的前提下的应用。该项目通过联邦学习架构，使得多方在不共享原始数据的情况下，能够协同训练出高效的AI模型，有效应对数据隐私和合规性挑战。

该项目旨在实现稀疏和稳健的预训练语言模型，以提高语言理解的能力和效率。

Mistral 7B是一个先进的人工智能平台，旨在通过开放、可移植和可定制的工具，帮助企业和开发者充分利用生成式AI技术。该平台支持多种应用场景，从开源模型到高性能商业产品，致力于提升效率、创新和价值创造。

ScrapeGraphAI是一个由人工智能驱动的网页抓取API，能够通过简单的提示将网站转换为结构化的JSON格式。它适用于大规模数据提取，并可与AI框架集成，广泛应用于企业数据分析、市场研究等领域。

Oven AI是一款利用AI技术为设计师和开发者生成独特3D图标的工具。它可以快速生成图标，支持背景去除，特别适合品牌、科技和原型设计项目。用户只需输入描述所需图标特征的提示，AI即可在几秒钟内生成图标。