Encoder-Decoder-SLM开源项目 – 高效小语言模型架构

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

Encoder-Decoder-SLM的特点:

1. 性能提升显著，基础架构提升2-4%，知识蒸馏后提升6-8%
2. 推理效率极高，首token延迟降低47%，边缘设备吞吐量提升4.7倍
3. 内存和计算成本大幅降低，内存减少11-16%，FLOPs减少22%

Encoder-Decoder-SLM的功能:

1. 用于构建高效的小语言模型，适用于10亿参数以下的场景
2. 通过知识蒸馏技术提升模型性能
3. 在边缘设备上实现高效的推理任务
4. 降低内存和计算成本，优化资源使用

相关导航

Weaviate Recipes开源项目 – Weaviate使用的食谱与示例

Weaviate Recipes是一个为使用Weaviate而设计的食谱和示例集合，重点关注不同类型的向量嵌入，以支持AI应用。

LangSmith官网 – 助力开发者从原型到生产

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

BakLLaVA开源项目 – 多模态能力增强的语言模型

将SOTA多模态能力融入语言模型，改进基础模型、修改训练过程、自定义数据集以及对LLaVA实现的重大架构更改。

Cross Aggregation Transformer for Image Restoration – “Mapping coordinates for robotics navigation.”-用于相机定位的神经框架

一个通过坐标映射进行相机定位的神经框架。

One-for-All: Bridge the Gap Between Heterogeneous Architectures in Knowledge Distillation开源项目 – 跨架构知识蒸馏性能提升

该项目专注于在知识蒸馏中弥合不同架构之间的性能差距，通过有效的策略提升模型的表现。

To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis-探讨大语言模型训练epoch设置的影响

本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。

awesome_role_of_small_models开源项目 – 小型模型在大模型时代的独特应用

小型模型的妙用：在大型语言模型时代，探索小型模型的独特角色和应用，包括数据筛选、推理增强和知识蒸馏等

Awesome-LLM-Self-Improvement开源项目 – 助力大型语言模型自我改进

精选大型语言模型在推理时自我改进的研究论文列表，助力模型性能提升。该项目汇集了大量优秀研究，提供最新的调查结果，旨在帮助研究者和开发者优化大型语言模型的性能。

Can We Tune Together开源项目 – 组合多种NLP语言模型

该项目旨在通过结合多种自然语言处理模型，探索优化模型性能的新方法。它具有强大的可扩展性，适用于多种应用场景，并提供了用户友好的接口。

SynaLinks开源项目 – 可编程神经符号语言模型框架

SynaLinks是一个基于图的可编程神经符号语言模型框架，专为生产环境设计，采用久经考验的深度学习最佳实践打造。它支持多种语言模型，如Ollama、OpenAI等，并提供内置评估指标和奖励机制，助力快速开发和优化模型性能。此外，SynaLinks支持无缝部署REST API，便于企业级应用的集成和扩展。

RetNet-LLM基础架构，兼顾性能和成本

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

SDXS开源项目 – 小米开源AI绘画模型，生图速度提升30至60倍

SDXS是小米开源的AI绘画扩散模型，通过知识蒸馏技术和单步DM训练方法，显著提升了生图速度。SDXS系列包括SDXS-512和SDXS-1024两个模型，分别针对512x512和1024x1024分辨率的图像生成需求，单GPU环境下推理速度分别达到约100 FPS和30 FPS，相较于传统模型速度提升30至60倍。SDXS还支持ControlNet训练，适用于图像条件控制和图像到图像的高效转换。