To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis-探讨大语言模型训练epoch设置的影响

Stable Fast 是一个超轻量级的推断性能优化库，专为在 NVIDIA GPU 上优化 HuggingFace Diffusers 库的性能而设计。

FreeAiKit是由Prgmine提供的一套AI工具，旨在帮助用户完成各种与AI相关的任务，且免费提供。用户可以通过访问网站浏览工具，每个工具都有详细的描述和使用说明，用户可根据指南选择所需工具并应用于AI项目。

从零开始构建自己的大型语言模型，提供详细教程和代码实现，覆盖编码、预训练和微调过程，适用于对自然语言处理和人工智能领域感兴趣的开发者和研究者

vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。

该论文提出了一种训练语言模型的方法，通过同时预测多个未来Token来提高样本效率，并在多个生成基准上实现了显著的性能提升。

Substratus.AI是一个专注于大规模语言模型（LLMs）的平台，旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台，并通过单个命令轻松运行和微调最先进的LLMs。

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

Stick-breaking Attention 是一种基于 Triton 的变长序列注意力机制实现，旨在通过优化计算方式提升在 GPU 上的性能，适合多种深度学习任务，易于与现有框架集成。

midGPT是一个基于Jax和Equinox的大型语言模型分布式预训练框架，能够在云TPU切片上高效训练数十亿参数的GPT风格解码器模型，旨在提升语言模型的训练效率和性能。

Self-Consistency是Google提出的一种方法，通过对单一模型进行多次采样和结果融合，显著提升大规模语言模型的推理能力和输出结果的可信度。该方法特别适用于大模型，能够生成高质量的训练数据，从而优化模型的训练过程。

OpenAI Tools是一个综合工具包，旨在帮助用户充分利用他们的OpenAI账号。它提供了API使用情况跟踪、ChatGPT微调数据集管理、微调任务的创建、监控和取消、训练日志的审查和可视化、直接测试和比较微调及其他模型等功能。

一个完整的大语言模型(LLM)可解释性研究项目，使用稀疏自编码器(SAE)分析Llama 3.2模型，由纯PyTorch实现且可完全复现。包含从数据采集、SAE训练、特征分析到验证的全套流程，可帮助理解模型内部行为和概念表示

这是一个众包AI计算的平台，能让你把各种设备汇聚起来，变成强大的AI平台，就像把零散的积木拼成一个超级机器人，无论是个人还是团队都能轻松部署和管理AI模型，还不用担心隐私问题，完全免费。

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

AdaLoRA是一种自适应预算分配的参数有效微调方法，通过调整增量矩阵的秩来控制参数参与计算的量。关键的增量矩阵被分配高秩以捕获更细粒度的信息，而不太重要的增量矩阵被修剪为低秩以防止过拟合并节省计算资源。AdaLoRA利用SVD分解结果，动态调整矩阵秩以优化模型性能。该项目已合并到HuggingFace支持的参数高效微调库（🤗PEFT）中。

Eureka Labs是一所全新的AI原生学校，采用“教师 + AI 共生”的模式，通过AI教学助手来扩展和指导人类专家编写的课程材料，为学生提供全面的学习体验。

LLM-Tuning 是一个专注于简化大语言模型（LLM）微调过程的工具，支持多种模型与数据集，旨在帮助用户轻松实现模型训练与评估。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

min-LLM是一个轻量级的框架，旨在通过最小化代码来简化大语言模型（LLM）的训练过程。它提供了一个高效的训练流程，支持快速原型开发，并且易于集成和扩展，适合研究人员和开发者使用。

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

该项目旨在通过结合多种自然语言处理模型，探索优化模型性能的新方法。它具有强大的可扩展性，适用于多种应用场景，并提供了用户友好的接口。

Weaviate Recipes是一个为使用Weaviate而设计的食谱和示例集合，重点关注不同类型的向量嵌入，以支持AI应用。

Caldera是一种后训练压缩方法，通过低秩、低精度分解技术来表示大型语言模型的权重矩阵。该方法在少于2.5比特/参数的极致压缩下，性能超越现有技术，并支持低秩适应性微调，针对特定任务进一步优化。Caldera提供灵活的精度设置，可针对不同组件调整量化精度，以平衡性能和压缩率。

Streaming DiLoCo 是一种用于分布式训练大语言模型（LLMs）的方法，旨在减少通信带宽和延迟。通过部分参数同步、通信与计算重叠以及梯度量化到4位精度，该方法在保持模型质量的同时显著降低了通信需求，特别适用于带宽有限的环境。

精选大型语言模型在推理时自我改进的研究论文列表，助力模型性能提升。该项目汇集了大量优秀研究，提供最新的调查结果，旨在帮助研究者和开发者优化大型语言模型的性能。

由 Hugging Face 分享的一份终极调参指南，旨在系统地讲解大语言模型训练的扩展、分布式训练技术的理解与实践，并弥补当前开源领域知识的零散问题。该指南详细介绍了在大规模GPU集群上训练大语言模型的各种技术和方法，包括显存使用、并行技术、性能评测等，并提供简化实现便于学习。

Meta正在开发其首款自研AI训练芯片，属于Meta训练和推理加速器(MTIA)系列，专为训练大型AI模型(如Llama大语言模型)设计。该项目与台积电合作开发，比Nvidia通用GPU更节能，旨在降低基础设施成本并减少对外部供应商的依赖。目前处于测试阶段，若成功将用于训练下一代Llama模型。

FATE-LLM是基于FederatedAI开发的联邦学习框架，支持大语言模型的分布式训练，旨在促进AI技术在保护知识产权和隐私的前提下的应用。该项目通过联邦学习架构，使得多方在不共享原始数据的情况下，能够协同训练出高效的AI模型，有效应对数据隐私和合规性挑战。