AI-magic AI-magic

LLM蒸馏最佳实践

LLM Distillation Playbook开源项目 – 大型语言模型蒸馏最佳实践指南
LLM Distillation Playbook开源项目 – 大型语言模型蒸馏最佳实践指南

关于如何有效蒸馏大型语言模型的最佳实践实用指南，提供了一系列的最佳实践，帮助工程师和机器学习从业者在生产应用中更高效地蒸馏和使用语言模型。
Open Interpreter开源项目 – 开源本地模型运行和训练工具
Open Interpreter开源项目 – 开源本地模型运行和训练工具

Open Interpreter Local III是一款开源的本地模型运行和训练工具，支持高速推理和个性化模型定制。
BricksLLM开源项目 – 云原生AI网关，简化LLM运维
BricksLLM开源项目 – 云原生AI网关，简化LLM运维

用Go语言编写的云原生AI网关，作为OpenAI的代理服务，可以创建具有速率限制、费用限制和生存时间限制的API密钥，实现细粒度的访问控制，支持多个大型语言模型，并简化LLM(Large Language Model)的运维操作。
ik_llama.cpp开源项目 – 智能优化版Llama.cpp
ik_llama.cpp开源项目 – 智能优化版Llama.cpp

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效
diffusers-torchao开源项目 – 优化扩散模型的端到端方案
diffusers-torchao开源项目 – 优化扩散模型的端到端方案

利用torchao和diffusers优化扩散模型的端到端方案，支持推理和FP8训练，旨在提升模型的性能和效率。
Fast-LLM开源项目 – 加速大型语言模型训练的开源库
Fast-LLM开源项目 – 加速大型语言模型训练的开源库

Fast-LLM是一个开源库，旨在加速大型语言模型的训练。它具有快速的训练速度、良好的可扩展性，支持多种模型架构，并且提供易于使用的接口，适合研究和工业应用。
ComfyUI-TeaCache开源项目 – 加速推理的 ComfyUI 插件
ComfyUI-TeaCache开源项目 – 加速推理的 ComfyUI 插件

集成了 TeaCache 的 ComfyUI 插件，用于加速图像、视频和音频扩散模型的推理过程，支持多种模型，并提供了简单的安装方法和推荐配置
DeepEval开源项目 – 轻松评估大语言模型
DeepEval开源项目 – 轻松评估大语言模型

提供一种 Pythonic 方式在 LLM 管线上运行离线评估，以便轻松投入生产
ONNX神经压缩器开源项目 – 开源的ONNX模型量化工具
ONNX神经压缩器开源项目 – 开源的ONNX模型量化工具

支持ONNX模型量化的开源Python库，提供流行的模型压缩技术，如SmoothQuant和权重量化，适用于Intel硬件和流行的大型语言模型（LLM）。
LaMini-LM开源项目 – 提升迷你大语言模型性能的项目
LaMini-LM开源项目 – 提升迷你大语言模型性能的项目

LaMini-LM是一个对多个迷你大语言模型进行微调的项目，旨在提升模型的性能，其中包括经过微调的GPT-2，其性能可与LLaMa的Alpaca-7B相媲美。
Video-LLaVA-7B-hf-CinePile开源项目 – 高级视频理解模型
Video-LLaVA-7B-hf-CinePile开源项目 – 高级视频理解模型

基于Video-LLaVA的视频理解模型，针对CinePile基准测试优化，显著提升了对主题探索、叙事分析、角色关系等高层次理解能力，性能接近Claude 3，在视频内容理解方面取得了显著进展
Monica图标

通过字节跳动免费使用满血可联网DeepSeek R1

现在注册，立即送145元代金券

字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3