语言模型训练效率

该论文提出了一种训练语言模型的方法，通过同时预测多个未来Token来提高样本效率，并在多个生成基准上实现了显著的性能提升。

是一种通过减少内存带宽需求来增强语言大模型效率的技术。它无需对预训练或微调进行更改，可以显著减少注意力内存需求，而不会影响准确性。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

Tree of Thoughts (ToT) 是一个强大而灵活的算法，能将模型推理能力提升多达70%。该插件式版本允许用户连接自己的模型，体验超智能的推理能力。

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

本文提出了一种解决语言大模型中问题的方法，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在中访问相关信息时，性能会显著下降。

H2O.ai的开源大语言模型GPT项目，旨在创建世界上最好的开源GPT模型，提供强大的自然语言处理能力，支持多种任务，适用于大规模应用。

本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。

FastEdit 是一个高效的工具，可以在10秒内快速编辑大型语言模型，支持多种模型，并通过简单的命令向模型注入定制知识，极大地提升了模型的灵活性和实用性。

一个简单的ReAct Agent模板，用于构建基于LangGraph的agent，通过迭代推理和执行动作来解决复杂问题。该项目旨在提供一个易于使用和扩展的框架，帮助开发者快速实现复杂任务的解决方案。

该模型结合对比潜变量，以指导能量基础模型的训练和优化。

旨在促进能在IMO竞赛中赢得金牌的开放共享AI模型诞生的比赛，设立于2023年11月。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

OpenThought ARC-AGI-2是一个开源项目，旨在构建认知核心，以解决人工智能领域中的各种挑战。该项目专注于开发能够自我改进和进行推理的智能系统，为推动人工智能的进步提供基础。

Claude 3.5 Sonnet 是一种结合动态思维链、反思和口头强化等技巧的语言模型，旨在提高测试时间计算能力，匹配 OpenAI o1 等推理能力强的模型。

一种利用隐式神经表示法表示复杂数据结构的方法，适用于多种数据类型的学习和生成建模任务。