该项目通过强化学习（RL）系统研究大型语言模型（LLM）中长链思维推理的涌现机制，重点分析奖励塑造和数据质量对推理能力的影响。 研究发现：监督微调（SFT）可提升训练效率但非必需；推理能力随计算量增长可能涌现，但依赖奖励设计稳定思维链长度；利用噪声网络数据扩展可验证奖励信号在STEM任务中表现潜力； 基础模型已具备错误纠正等核心能力，但需大量计算资源激发。项目挑战了"模型规模决定性能"的传统观点，强调奖励设计比参数量更关键。
Satori是一个基于Qwen-2.5-Math-7B的7B参数大型语言模型，通过Chain-of-Action-Thought (COAT)推理机制和Reinforcement Learning with Autoregressive Search (RAE)策略提升模型的自主推理能力。该项目专注于数学推理和跨领域任务，在GSM8K、MATH500等数学推理基准测试中达到最新水平，并能推广到逻辑推理、常识推理和表格推理等任务。模型和数据可在Huggingface平台获取，代码预计未来几周发布。
NoLA是一种基于大型语言模型和预训练视觉模型的无标签图像分类方法，通过利用这些先进技术提升图像分类的准确性，同时无需大量标注数据，显著降低了成本。该方法特别适合资源有限或数据标注困难的场景，如新领域探索或小数据集分类。NoLA通过生成描述性特征并与视觉模型（如CLIP）结合，实现了高准确性和解释性，同时具备分布鲁棒性和新概念适应能力。
DeepSeek AI 是一家中国人工智能公司，专注于开发大型语言模型（LLM），成立于2023年7月，由High-Flyer对冲基金拥有和资助。其旗舰模型DeepSeek-R1于2025年1月发布，性能可与OpenAI的GPT-4和o1媲美，但训练成本显著降低。DeepSeek AI的核心创新包括混合专家（MoE）架构、多头潜注意力（MLA）和多令牌预测（MTP），这些技术显著减少了内存使用和训练成本。模型开源，供广泛用户和开发者使用，适用于聊天机器人和AI助手应用。
TAID（Temporally Adaptive Interpolated Distillation，时间适应插值蒸馏）是一种新型知识蒸馏方法，专为从大型语言模型（LLM）高效转移知识到小型语言模型（SLM）而设计。它通过时间依赖的中间分布动态地在学生和教师分布之间进行插值，解决了由于教师模型和学生模型之间能力差距过大、模式平均和模式崩溃等问题导致的知识转移效率低下问题。研究表明，TAID通过渐进式和自适应的知识转移过程，提升了蒸馏的性能和稳定性，并在指令调整和预训练场景中表现出色。
该项目研究大型语言模型（LLMs）是否能够通过上下文学习（ICL）进行与贝叶斯统计一致的结构化推理。通过偏置硬币翻转的对照实验，研究发现当提供足够的上下文示例时，LLMs可以表现出与贝叶斯后验更新高度一致的行为。这表明LLMs能够以符合统计原则的方式适应和学习，从而提升其在复杂推理任务中的应用。
Harmonic Loss 是一种新型的损失函数，旨在替代传统交叉熵损失函数，用于训练神经网络和大型语言模型。它通过引入尺度不变性和有限收敛点等特性，提升模型的可解释性并加速收敛。研究表明，Harmonic Loss 在减少模型泛化延迟（'grokking'现象）和数据效率方面表现优异，并在算法、视觉和语言数据集上验证了其有效性。
DeepSeek-R1 是由 DeepSeek AI 开发、通过 NVIDIA NIM 平台支持的大型语言模型，拥有 6710 亿参数，专注于推理、数学和编码任务。它采用链式思维方法和测试时间扩展技术，能够生成文本、解决复杂推理问题、辅助编码和数学任务，并进行自然语言对话。模型提供精简版本，适合不同硬件环境使用，广泛应用于 AI 研究、教育、编码辅助等领域。
START（Self-Taught Reasoner with Tools）是一种创新型大型语言模型，通过整合外部工具（如 Python 解释器）提升其推理能力。它采用“Hint-infer”和“Hint-RFT”技术，自学如何更有效地使用这些工具，从而在科学问答、数学问题解决和代码生成等任务中表现出色。特别是在博士级科学问答 GPQA 和竞赛级数学基准测试中表现优异，成绩达到或超过现有开源模型的最新水平。
DeepSeek是一家位于中国杭州的人工智能公司，专注于开发大型语言模型（LLMs）。公司成立于2023年7月，隶属于中国对冲基金High-Flyer。DeepSeek的核心产品包括一系列LLMs，涵盖对话、搜索、编程和推理功能。其模型在性能和成本效益上表现出色，特别是在推理任务和编程支持方面，能够与国际领先模型如OpenAI的GPT-4o媲美。DeepSeek的模型训练成本显著低于行业平均水平，例如V3模型的训练成本仅为600万美元，而OpenAI的GPT-4在2023年耗资1亿美元。2025年1月，DeepSeek推出了同名聊天机器人和DeepSeek-R1模型，迅速在全球AI领域崭露头角。
Falcon 2 11B 是由阿联酋技术创新研究所（TII）开发的大型语言模型，拥有110亿参数，经过5.5万亿token的训练。该模型在语言理解和生成方面表现出色，支持多种语言，适合研究和商业用途。其性能优于Meta的Llama 3 8B，与Google的Gemma 7B相当，尤其在Hugging Face的评估工具中表现领先。
Llama-3.3-70B-Instruct 是由 Meta 开发的大型语言模型，拥有 70 亿参数，性能与更大模型相当，但成本显著降低。该模型在多语言对话、推理和行业基准测试中表现优异，尤其在 MMLU 测试中超越 Google Gemini 1.5 Pro、OpenAI GPT-4o 和 Amazon Nova Pro。Meta 计划在路易斯安那州建设 100 亿美元的 AI 数据中心，支持未来 Llama 模型的训练。
DeepSeek-V3-0324 是由DeepSeek AI开发的大型语言模型，采用Mixture-of-Experts (MoE)架构，总参数约为6850亿。该模型利用Multi-head Latent Attention (MLA)和DeepSeekMoE架构，创新性地引入了无辅助损失的负载均衡策略，并设置多令牌预测训练目标以提升性能。在14.8万亿多样化高品质令牌上预训练后，通过监督微调和强化学习进一步优化，DeepSeek-V3-0324 在推理、代码生成和其他语言任务中表现出色。
BigCode 是一个由 Hugging Face 和 ServiceNow 联合领导的开源科学合作项目，专注于负责任地开发和使用大型语言模型（LLM）进行代码相关应用。该项目提供了多种模型和数据集，如 StarCoder2 系列模型和 The Stack v2 数据集，涵盖超过 600 种编程语言，支持代码生成、代码补全、文本摘要等功能。BigCode 的目标是通过开源和开放科学推进人工智能的发展，特别是在代码生成和理解领域。
天工是由昆仑万维开发的大型语言模型，旨在通过自然语言与用户互动。它是国内首个对标ChatGPT的双千亿级大语言模型，支持多种应用场景，包括学习、职业和生活。天工3.0版本已开放公测，具备4000亿参数，是目前世界上最大的开源MoE模型。
DeepSeek-R1 是由 DeepSeek AI 开发的大型语言模型，集成强化学习和链式思维能力，旨在通过 AWS 提供高效的 AI 解决方案。该模型在推理、数学和编码任务中表现出色，且成本比同类模型低 90-95%。它可以通过 Amazon Bedrock 和 SageMaker 等服务部署，适合构建生成式 AI 应用。
DeepSeek-V3是硅基流动（SiliconFlow）在硅云（SiliconCloud）平台上提供的大型语言模型服务，采用混合专家（MoE）架构，总参数量为6710亿，每个token激活370亿参数。该模型预训练于14.8万亿多样化、高质量的token，支持监督微调和强化学习，性能优于其他开源模型，并与领先的闭源模型相当。通过华为云昇腾云服务提供，声称性能与全球高端GPU部署模型相当，适合各种自然语言处理任务。
GLM-4 是智谱公司开发的一系列大型语言模型，最新旗舰模型为 GLM-4-Plus，在语言生成、理解、逻辑推理、指令遵循和长文本处理方面表现优异，与 GPT-4o 和 Llama3.1 性能相当。通过 API 调用，适用于内容创作、数据分析、教育和编程等多种场景。
DeepSeek 是一个支持私有部署的搜索问答知识系统，旨在提升企业内部知识管理的效率。它能够分类存储企业各类知识，支持多人在线实时编辑和沟通，具备强大的搜索引擎功能和个性化推荐功能。此外，DeepSeek 还能挖掘和分析海量数据，帮助企业发现潜在知识点和趋势，为决策提供支持。DeepSeek 不仅限于知识管理，还涉及大型语言模型（LLM）开发，其最新模型 DeepSeek-V3 在开源模型中表现优异，训练成本低至 600 万美元，与闭源模型如 OpenAI 的 GPT-4 竞争。
Multi-token Prediction for Large Language Models 是 Meta 提出的一种新型训练方法，旨在提升大型语言模型的训练效率和性能。该方法允许模型在训练语料的每个位置同时预测接下来的多个 token，每个 token 独立计算交叉熵损失。通过调整前向和后向传播的顺序，该方法显著减少了 GPU 内存占用，且不影响模型运行时间。该方法在编码和自然语言模型上取得了显著的性能提升，推理速度大幅提高，适用于实时应用。
腾讯混元是腾讯开发的大型AI项目，涵盖大型语言模型和AI助手应用。项目旨在提供先进的AI能力，支持自然语言处理、逻辑推理和任务执行。大型语言模型“混元”具有强大的中文语言处理能力，驱动多个AI应用，适用于内容创建、客户服务等广泛任务。AI助手“Yuanbao”是面向消费者的产品，支持AI问答、知识获取、数学问题解决、翻译、旅游攻略和工作建议等功能，可在网页端和小程序端使用。
通義千問（Tongyi Qianwen），也稱為Qwen，是一系列由阿里巴巴雲開發的大型語言模型。該項目旨在提供智能且自然的語言互動，支援中文和英文，類似於ChatGPT。它集成於阿里巴巴的各種業務功能，並為客戶和開發者提供定制和部署的機會，促進AI應用的開發。通義千問系列包括多個專門模型，如Qwen 2.5、Qwen2.5-Max、Qwen2.5-Coder、Qwen2.5-Math、Qwen-VL、Qwen-Audio等，涵蓋自然語言處理、編碼輔助、數學問題解決、視覺和音頻分析等多個領域。
天工AI搜索是昆仑万维推出的首个AI搜索产品，利用100亿参数级的大型语言模型‘天工’，提供精准、个性化的对话式回答。它集成了搜索、对话、写作、文档分析、绘图和PPT制作等多种功能，适合学习、工作和生活。
Open NotebookLM 是一个开源工具，灵感来源于 Google 的 NotebookLM，允许用户通过大型语言模型（LLM）和文本转语音（TTS）技术将 PDF 文档转换为引人入胜的播客对话。它提供了一个简单易用的平台，特别适合研究人员、开发者和内容创作者。用户可以通过 Gradio 界面上传 PDF 文件，系统会生成自然对话并转换为 MP3 音频文件。项目声称支持 13 种语言，但具体语言列表未明确。
ChatALL是一个开源项目，允许用户同时与多个大型语言模型（LLM）进行对话。通过向多个AI机器人发送提示，用户可以发现最佳结果。该项目旨在提供更好的体验，用户只需下载、安装并提问即可。支持多种语言和操作系统，包括Windows、macOS和Linux。所有聊天记录和设置都保存在本地，确保用户隐私安全。
SEED-Story是由腾讯ARC实验室推出的一个多模态长篇故事生成项目。它基于大型语言模型（MLLM），能够从用户提供的图像和文本开始，生成包含丰富、连贯的叙事文本以及风格一致的图像的多模态长篇故事。项目包括多模态故事生成模型、StoryStream数据集以及三阶段的技术方法（视觉分词、指令调优和去分词器适应）。用户可以通过提供起始图像和文本，生成多达25个多模态序列的故事，且生成的图像与叙事文本在风格和角色上保持高度一致。
FLEXTAF是一个针对表格推理的AI项目，旨在通过使用不同表格格式来优化大型语言模型（LLM）在表格问答任务中的性能。项目包含两个主要模块：FLEXTAF-Single和FLEXTAF-Vote。FLEXTAF-Single通过训练分类器来预测最合适的表格格式，并在推理时使用该格式来解决问题。FLEXTAF-Vote则通过整合不同格式的结果，并通过投票确定最终答案。研究显示，不同的表格格式在处理不同类型的问题时表现出不同的性能优势。
LitLytics是一个简单实惠的数据分析助手，利用大型语言模型（LLMs）自动化数据分析，无需数据科学专业知识，自动生成分析流程，支持多种数据格式，并可自定义调整，性价比高。
该项目是一个关于大型语言模型和基础模型在时态数据（时间序列、时空和事件数据）以及AIOps领域应用的资源列表。它提供了全面的资源，包括论文、代码、数据集等，系统地总结了该领域的最新进展，为研究者和开发者提供了可靠的参考。
west是一款基于大型语言模型（LLM）的语音转录系统，仅用300行代码实现。它支持多种LLM和语音编码器，如LLaMA、QWEN、Whisper等，具有高性能和高准确率的语音转录能力。通过模块化设计，west由LLM、语音编码器和可训练的投影器组成，仅需训练投影器，提高了训练效率。
