AI-magic AI-magic

模型压缩与优化

awesome_role_of_small_models开源项目 – 小型模型在大模型时代的独特应用
awesome_role_of_small_models开源项目 – 小型模型在大模型时代的独特应用

小型模型的妙用：在大型语言模型时代，探索小型模型的独特角色和应用，包括数据筛选、推理增强和知识蒸馏等
Tied-LoRA-提升LoRA方法的参数效率
Tied-LoRA-提升LoRA方法的参数效率

Tied-LoRA是一种简单的范式，它利用和来增加LoRA方法的参数效率。该方法在多个任务中表现出相当的性能，并且仅使用标准LoRA方法的13%的参数，有助于减少模型的复杂性和提升训练效率。
VPTQ开源项目 – 极低比特的向量后训练量化
VPTQ开源项目 – 极低比特的向量后训练量化

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。
DeepSparse开源项目 – 强大的CPU优化推理框架
DeepSparse开源项目 – 强大的CPU优化推理框架

一个强大的框架，通过集成sparse kernel、量化、剪枝和注意力键/值的缓存，进一步优化了在CPU上进行的能力。
CompressGPT开源项目 – 高效提示压缩工具
CompressGPT开源项目 – 高效提示压缩工具

CompressGPT 是一个提示压缩器，可以为大多数基于 LangChain 工具的提示减少约70% 的Token，只需更改一行代码，帮助用户在文本生成和处理时大幅降低成本和提高效率。
EMMA开源项目 – 增强型多模态推理基准测试
EMMA开源项目 – 增强型多模态推理基准测试

EMMA是一个增强型多模态推理基准测试，用于评估大型多模态语言模型在数学、物理、化学和编程等领域的推理能力，帮助研究者发现模型在复杂多模态任务中的局限性。
Search-o1开源项目 – 增强推理模型的搜索工具
Search-o1开源项目 – 增强推理模型的搜索工具

Search-o1是一个增强大型推理模型的搜索工具，类似于为模型装上“搜索引擎”，使其在思考过程中能够随时查找知识，从而减少错误和不确定性，提升完成复杂任务的能力。
Plat.AI官网 – 实时预测分析软件
Plat.AI官网 – 实时预测分析软件

Plat.AI 是一款预测分析软件，支持使用机器学习和深度学习算法构建和部署自定义模型，实现实时预测。它提供了自动化的模型构建平台，配备数据预处理工具、自定义建模解决方案和无代码建模能力。
Monica图标

通过字节跳动免费使用满血可联网DeepSeek R1

现在注册，立即送145元代金券

字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3