SynaLinks开源项目 – 可编程神经符号语言模型框架

将SOTA多模态能力融入语言模型，改进基础模型、修改训练过程、自定义数据集以及对LLaVA实现的重大架构更改。

Upsonic是为企业级任务和垂直AI Agent提供的强大任务导向型AI框架，支持多种大语言模型并具备高可扩展性，能够无缝部署于云平台或本地环境，适合处理复杂的自动化任务。

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

精选大型语言模型在推理时自我改进的研究论文列表，助力模型性能提升。该项目汇集了大量优秀研究，提供最新的调查结果，旨在帮助研究者和开发者优化大型语言模型的性能。

Quivr 是一个开源的 RAG 框架，专为构建 GenAI 第二大脑而设计，旨在帮助用户构建个性化的生产力助手。它支持多种语言模型，如 GPT 3.5/4 turbo、Private、Anthropic 等，并能够与文档（如 PDF、CSV）和应用程序进行智能对话。Quivr 注重速度和效率，确保快速访问数据，同时提供数据安全，用户完全控制。此外，Quivr 还集成了 Langchain 技术，增强了文档处理能力，并支持私有化部署，确保数据安全。

能力密度是研究团队提出的评估不同规模 LLM 的训练质量的新指标，定义为模型的有效参数量与实际参数量的比值。该指标提供了统一的度量框架，通过引入参考模型的概念，建立参数量与性能之间的映射关系，显著降低同等性能的推理成本，并指示模型存在高性价比的有效使用期。

微软推出的高效小语言模型架构，专为10亿参数以下的模型设计，助力小模型在性能和效率上赶超大模型。通过优化基础架构和知识蒸馏技术，显著提升模型性能，降低推理延迟和内存计算成本，适用于边缘设备等资源受限场景。

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

该项目探讨了五种语言大模型在四种语言的五个任务上的表现差异，通过特定方法优化性能，虽然相较于传统方法仍有不足，尤其在处理敏感问题时需注意偏差。尽管LLM在某些方面表现出优势，仍无法完全取代人类标注。文章还讨论了聚合模型标注与人类标注在速度、准确性、成本和偏见方面的权衡。

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

为多种大型语言模型（如GPT-4、Claude、Llama3等）设计的高级代码和文本操作提示库，旨在提升多种任务的处理效率，提供灵活且强大的功能，方便开发者和研究者使用。

实时创建、自定义和与您的 AI 角色/同伴交谈（全部在一个代码库中！使用LLM OpenAI GPT3.5 / 4，Anthropic Claude2，Chroma Vector DB，Whisper Speech2Text，ElevenLabs Text2Speech）

SWE-Kit是一个开源的无头集成开发环境，旨在帮助开发者在诸如crewai、langchain和llamaindex等框架中构建编码代理，支持多种选择的语言模型（LLM）。该工具简化了开发流程，使得开发者能够更加高效地创建和调试智能代理。

Caldera是一种后训练压缩方法，通过低秩、低精度分解技术来表示大型语言模型的权重矩阵。该方法在少于2.5比特/参数的极致压缩下，性能超越现有技术，并支持低秩适应性微调，针对特定任务进一步优化。Caldera提供灵活的精度设置，可针对不同组件调整量化精度，以平衡性能和压缩率。

AdaLoRA是一种自适应预算分配的参数有效微调方法，通过调整增量矩阵的秩来控制参数参与计算的量。关键的增量矩阵被分配高秩以捕获更细粒度的信息，而不太重要的增量矩阵被修剪为低秩以防止过拟合并节省计算资源。AdaLoRA利用SVD分解结果，动态调整矩阵秩以优化模型性能。该项目已合并到HuggingFace支持的参数高效微调库（🤗PEFT）中。