Fine-Tuner AI官网 – 提升NLP模型性能的强大工具

Transformers.js 是一个 JavaScript 库，允许用户在浏览器中直接运行预训练的 Transformer 模型，支持自然语言处理、计算机视觉、音频处理和多模态任务。它使用 ONNX Runtime 在浏览器中高效运行模型，并支持将 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX 格式。

是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练，并引入了一种名为ReLoRA的方法，利用低秩更新来训练高秩网络。

Llama已然是最领先的开源大模型LLM，下载量接近3.5亿次，需求巨大，适用于各种自然语言处理任务。

在MiniGPT4的基础上对齐了Qwen-Chat语言模型，使用高质量的指令微调数据，通过单阶段预训练达到了很好的效果。

《动手学大模型》是一本开源书籍，共12章节，涵盖从基础到高级的大语言模型内容，包括语言模型介绍、文本分类、提示词工程、语义搜索、微调模型、多模态模型等。书中包含大量代码示例，可直接在Colab运行，帮助读者更好地理解和应用大语言模型。此外，书中还提供了丰富的实践代码，旨在帮助读者掌握大型语言模型的使用和应用，适合初学者和有经验的开发者。

Jina AI 提供强大的多模态AI解决方案，旨在让每个用户、开发者和企业都能轻松访问AI生成的创造力和创新潜力。我们致力于 democratize 让AI技术普及，帮助个人和企业实现他们的目标。

基于Triton语言实现的Flash Attention, 采用OpenAI团队发布的Fused Attention代码，优化了注意力机制，适用于大规模数据处理，支持快速训练和推理，兼容多种深度学习框架。

一个韩国团队发布的自我改进的大型语言模型（LLM），能够通过自我较劲和打分的方式进行自我进化。

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

Dromedary是IBM开源的一个基于LLaMA的大语言模型，旨在通过最少的人工监督训练实现高效的自然语言处理，结合基于原则的推理与LLMs的生成能力，致力于解决人类监督在质量和可靠性方面的问题。

包含了从计算机视觉、自然语言处理到生物计算、气象预测等各个领域的模型，这些模型结合了幻方萤火超算集群的特点，使用并行训练、高效算子、高性能存储等方式，大幅提升原有模型的性能，节省训练时间。

使用C语言加速的语言模型推理项目，旨在实现单个GPU单批次的硬件利用最大化，具有最小的实现和依赖。该项目通过高效的算法和实现方式，优化了GPU的性能，适合多种语言模型的应用场景。

DeepSeek-V3 的Q4_k_m 量化版本，大小比原本的小一半，兼容性强，适用于多种环境，提升处理效率，同时保留大部分原始模型性能。

SpeechT5是一个统一的多模态编码器-解码器预训练模型，专门用于口语处理任务，旨在通过有效的预训练提升语音识别和自然语言处理的性能。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。