TAID（Temporally Adaptive Interpolated Distillation，时间适应插值蒸馏）是一种新型知识蒸馏方法，专为从大型语言模型（LLM）高效转移知识到小型语言模型（SLM）而设计。它通过时间依赖的中间分布动态地在学生和教师分布之间进行插值，解决了由于教师模型和学生模型之间能力差距过大、模式平均和模式崩溃等问题导致的知识转移效率低下问题。研究表明，TAID通过渐进式和自适应的知识转移过程，提升了蒸馏的性能和稳定性，并在指令调整和预训练场景中表现出色。
Phi-4 是微软研究院开源的一个小型语言模型，参数量仅140亿，但在多个基准测试中表现出色，可能超过OpenAI的GPT-4o以及同类顶级开源模型如Qwen 2.5-14B和Llama-3.3-70B。其训练数据包括高质量的合成数据，涵盖50多种数据集，生成约4000亿未加权tokens。采用监督微调（SFT）和直接偏好优化（DPO）技术，特别在数学竞赛相关任务中展现强大推理能力。
Phi-3 是由微软开发的一组小型语言模型，旨在以紧凑的形式提供高性能，特别适合在移动设备上运行。该系列包括多个模型，如 Phi-3 Mini、Phi-3 Small 和 Phi-3 Medium，每个模型具有不同的参数数量和能力，涵盖从 38 亿到 140 亿参数的范围。Phi-3 系列在语言理解、推理和编码任务中表现出色，采用‘课程学习’方法进行训练，逐步从简单任务过渡到复杂任务。某些模型如 Phi-3.5-Vision 还支持多模态任务，处理图像和文本输入。
Phi-4 是 Microsoft 推出的一款小型语言模型，拥有 140 亿参数，特别擅长复杂推理和数学问题解决。它的核心优势包括卓越的数学推理能力，这得益于高质量的合成数据集和创新的后训练技术。Phi-4 在训练过程中战略性地引入了合成数据，通过多代理提示、自我修正工作流和指令反转等技术生成，显著增强了模型的推理和问题解决能力。尽管在推理方面仍有提升空间，未来开发者预计会进一步优化和量化它，目标是实现个人电脑和笔记本电脑上的本地运行。
Malted AI是一款前沿工具，旨在彻底改变企业利用人工智能的方式，专注于小型语言模型（SLMs）的开发，提供高效、经济且精确的解决方案，帮助企业解决特定领域的问题。
微软推出的数学推理项目，旨在展示小型语言模型（SLM）在数学推理方面可以通过自我演化的深度思考（Deep Thinking）过程达到与大型模型相当甚至更好的性能。
TinyStories是一个参数量小于1000万的大语言模型，能够流利地讲英语，表明较小的模型在经过微调后也可以胜任单一任务。
Hugging Face 实现并开源的推理阶段计算扩展研究，通过动态计算策略提升小型语言模型的性能。
Merlin是一种由和支持的新型MLLM，展示了增强的视觉理解、未来推理和多图像输入分析能力。研究人员提议将未来建模引入多模态LLM（MLLMs）中，以提高对基本原则和主体意图的理解。他们利用了现有学习范式启发的预见性预训练（FPT）和预见性指令调优（FIT）技术。
旨在开发支持大规模并行训练的机器学习天气和气候模型的PyTorch框架，Makani 提供高效的计算资源利用，帮助研究人员进行气候变化研究和天气预测。
一个开源项目，旨在实现 OpenAI O1 模型系列的简化版本，专注于通过链式思维和强化学习解决算术问题。该项目结合了最新的技术，使得用户能够更加高效地解决算术问题，并且通过强化学习不断提升模型的表现。
RE2通过在提示中重复输入问题两次来提高LLM的推理能力，增强对问题的理解，并促进单向解码器 LLM 的双向编码。该方法兼容现有的思想激发提示技术，适用于多种LLM和推理任务，能够有效提高模型的表现。
该项目证明可以将 LLMs 的工作负载分散到多个设备上并实现显著的加速，支持在低功耗设备上运行，兼容Llama 2 70B模型。
