Caldera开源项目 – 高效压缩大型语言模型

Caldera是一种后训练压缩方法，通过低秩、低精度分解技术来表示大型语言模型的权重矩阵。该方法在少于2.5比特/参数的极致压缩下，性能超越现有技术，并支持低秩适应性微调，针对特定任务进一步优化。Caldera提供灵活的精度设置，可针对不同组件调整量化精度，以平衡性能和压缩率。

Caldera的特点:

1. 在少于2.5比特/参数的极致压缩下，性能超越现有技术
2. 支持低秩适应性微调，针对特定任务进一步优化
3. 灵活的精度设置，可针对不同组件调整量化精度

Caldera的功能:

1. 用于压缩大型语言模型，减少模型体积
2. 在特定任务上通过微调进一步优化模型性能
3. 根据不同组件需求，灵活调整量化精度以平衡性能和压缩率

相关导航

Awesome-LLM-Self-Improvement开源项目 – 助力大型语言模型自我改进

精选大型语言模型在推理时自我改进的研究论文列表，助力模型性能提升。该项目汇集了大量优秀研究，提供最新的调查结果，旨在帮助研究者和开发者优化大型语言模型的性能。

Native Sparse Attention (NSA)官网 – 加速注意力计算的稀疏技术

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

Argilla Cookbook开源项目 – 提供Argilla工具的简单示例

一个提供使用Argilla工具构建AI的简单示例的项目，主要功能包括数据标注、模型性能优化等，特色在于通过Jupyter Notebook形式提供直观的操作指导

利用语言大模型中的标签变化进行 zero-shot 文本分类-基于标签变化的零样本分类

该项目探讨了五种语言大模型在四种语言的五个任务上的表现差异，通过特定方法优化性能，虽然相较于传统方法仍有不足，尤其在处理敏感问题时需注意偏差。尽管LLM在某些方面表现出优势，仍无法完全取代人类标注。文章还讨论了聚合模型标注与人类标注在速度、准确性、成本和偏见方面的权衡。

LangSmith官网 – 助力开发者从原型到生产

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

能力密度官网 – 评估 LLM 训练质量的新指标

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

RetNet-LLM基础架构，兼顾性能和成本

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

SynaLinks开源项目 – 可编程神经符号语言模型框架

SynaLinks是一个基于图的可编程神经符号语言模型框架，专为生产环境设计，采用久经考验的深度学习最佳实践打造。它支持多种语言模型，如Ollama、OpenAI等，并提供内置评估指标和奖励机制，助力快速开发和优化模型性能。此外，SynaLinks支持无缝部署REST API，便于企业级应用的集成和扩展。

AdaLoRA开源项目 – 自适应预算分配的微调方法

AdaLoRA是一种自适应预算分配的参数有效微调方法，通过调整增量矩阵的秩来控制参数参与计算的量。关键的增量矩阵被分配高秩以捕获更细粒度的信息，而不太重要的增量矩阵被修剪为低秩以防止过拟合并节省计算资源。AdaLoRA利用SVD分解结果，动态调整矩阵秩以优化模型性能。该项目已合并到HuggingFace支持的参数高效微调库（🤗PEFT）中。

Can We Tune Together开源项目 – 组合多种NLP语言模型

该项目旨在通过结合多种自然语言处理模型，探索优化模型性能的新方法。它具有强大的可扩展性，适用于多种应用场景，并提供了用户友好的接口。

Encoder-Decoder-SLM开源项目 – 高效小语言模型架构

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

BakLLaVA开源项目 – 多模态能力增强的语言模型

将SOTA多模态能力融入语言模型，改进基础模型、修改训练过程、自定义数据集以及对LLaVA实现的重大架构更改。