AI-magic AI-magic

无限输入长度推理

SwiftInfer开源项目 – 无限输入长度的AI推理
SwiftInfer开源项目 – 无限输入长度的AI推理

基于TensorRT实现的Streaming-LLM技术，旨在支持LLM模型进行无限输入长度的推理，提供高效、实时的AI服务。
Sparse-Marlin开源项目 – 提升深度学习模型的计算和存储效率
Sparse-Marlin开源项目 – 提升深度学习模型的计算和存储效率

Sparse-Marlin是一个优化工具，专为4bit量化权重的2:4稀疏性推理核设计，旨在提升深度学习模型的计算效率和存储效率，适用于各种深度学习应用。
kogito开源项目 – 一个Python知识推理工具包
kogito开源项目 – 一个Python知识推理工具包

Kogito是一个专注于自然语言处理中的常识推理的工具包，集成了多种推理算法，并提供易于使用的API，支持自定义知识库，使得用户能够灵活地进行知识推理任务。
llama2.c开源项目 – 用纯C语言实现Llama 2模型推断
llama2.c开源项目 – 用纯C语言实现Llama 2模型推断

一个通过PyTorch从头开始训练Llama 2 LLM架构模型的项目，支持将权重保存到原始二进制文件并在简单的C文件中推断模型。
Kokoro-FastAPI开源项目 – 基于Docker的文本到语音模型部署
Kokoro-FastAPI开源项目 – 基于Docker的文本到语音模型部署

Kokoro-FastAPI 是一个基于 Docker 的 FastAPI 封装项目，专门用于部署 Kokoro-82M 文本到语音模型。它支持 CPU ONNX 和 NVIDIA GPU PyTorch 加速，提供自动分割和拼接功能，并支持多种语言和音频格式。该项目通过 Docker 实现便捷部署，适用于需要高效、多语言支持的语音合成场景。
MarbleFlows官网
MarbleFlows官网

使用AI生成的表单，以转化更多潜在客户。
RisingWave官网 – 开源分布式SQL流数据库
RisingWave官网 – 开源分布式SQL流数据库

RisingWave是一个为云设计的开源分布式SQL流数据库，旨在降低构建实时应用程序的复杂性和成本，并与PostgreSQL生态系统无缝集成。
Hailo官网 – 边缘AI技术变革者
Hailo官网 – 边缘AI技术变革者

Hailo通过先进的处理器和软件解决方案，专注于边缘设备上的AI能力，降低延迟，提升效率，适用于汽车、工业自动化等多个领域。
FederatedGPT-Shepherd开源项目 – 保护隐私的分散式LLM训练方法
FederatedGPT-Shepherd开源项目 – 保护隐私的分散式LLM训练方法

一个新的LLM训练方法，通过将训练分散到不同的边缘设备上以保持数据隐私，同时最大化利用边缘设备的算力。
Monica图标

通过字节跳动免费使用满血可联网DeepSeek R1

现在注册，立即送145元代金券

字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3