LLaMA Box开源项目 – 高性能LM推理服务器

LLaMA Box是一个基于C++实现的高性能语言模型推理服务器，兼容OpenAI API，为大语言模型推理提供强大支持。它支持多种模型，包括LLaMA和Stable Diffusion，并适配多种硬件平台，如NVIDIA、AMD和Intel。通过高效的RPC服务器模式，LLaMA Box可以分布式部署模型推理任务，满足大规模计算需求。

LLaMA Box的特点:

1. 支持多种模型，涵盖LLaMA、Stable Diffusion等
2. 多平台支持，适配NVIDIA、AMD、Intel等多种硬件
3. 高效的RPC服务器模式，可分布式部署模型推理任务

LLaMA Box的功能:

1. 作为大语言模型的推理服务器
2. 分布式部署模型推理任务
3. 兼容OpenAI API的接口调用

相关导航

MLX-Textgen开源项目 – 轻量级文本生成工具

MLX-Textgen是一款轻量Python包，旨在在兼容OpenAI的API端点上提供大型语言模型(LLM)服务。通过MLX实现的智能缓存机制，使得文本生成更加流畅与高效，适合多种文本生成任务，易于集成到现有应用中。

LLMAIx开源项目 – 本地LLM文档处理工具

LLMAIx是一款基于本地语言模型（LLM）的强大工具，专为文档信息提取与匿名化设计。它支持多种文件格式，包括pdf、png、jpg、txt等，并提供JSON Schema支持，方便用户进行信息结构化处理。此外，LLMAIx还兼容OpenAI API，具有高度的灵活性和扩展性，适用于各种文档处理需求。

optillm开源项目 – 优化LLM推理性能的代理

optillm是一个为大型语言模型(Large Language Models, LLMs)设计的优化推理Agent，专注于通过实施多种最新技术来提高模型在编码、逻辑和数学查询方面的准确性和性能。

spark-timeseries开源项目 – Apache Spark上的时间序列数据处理库

spark-timeseries是一个用于在Apache Spark上处理时间序列数据的Scala/Java库。它提供了时间序列分析和操作的实用工具，支持重新采样、窗口化和聚合等多种时间序列操作。该库专为大数据环境中的可扩展性和性能而设计，能够处理大规模的时间序列数据。

LLMonitor官网 – AI开发者的开源可观察性工具

LLMonitor是一个开源的监控与评估工具，专为AI开发者设计，旨在通过日志查询和分析提升应用的质量。它为基于大型语言模型的应用提供可观察性和日志记录功能，帮助开发者优化和调试复杂的AI代理和聊天机器人。

GPT Router开源项目 – 通用的LLM API网关

GPT Router是一个开源的LLM API网关，提供超过30个LLM、视觉和图像模型的通用API，具备基于可用性和延迟的智能回退、自动重试和流式传输功能，即使在OpenAI宕机时也能保持操作。

Jimdo官网 – 全面的小型商业解决方案

Jimdo 是一个一体化的小型商业解决方案，提供工具帮助企业建立专业在线形象，包括网站、在线商店、预定、标志、SEO、分析、域名和托管等。

3D-VisTA开源项目 – 具备3D世界识别能力的LLM

3D-VisTA是一个具备3D世界识别能力的语言模型，能够基于3D世界模型回答相关问题，提供深度的理解与交互。

WhisperS2T开源项目 – 优化的语音转文本管道

WhisperS2T是一个为Whisper模型优化的语音转文本处理管道，支持多个推理引擎，旨在提供高准确率和灵活配置选项的语音识别解决方案。

RWKV官网 – 一种新型的无注意力机制模型

RWKV是一种新型模型，它不需要注意力机制，而是将递归神经网络和Transformers的优点结合在一起。

cuda_accelerate开源项目 – 使用C++和CUDA加速神经网络

使用C++以及CUDA加速神经网络样例，主要实现了矩阵加法和矩阵乘法，提供高效的计算能力，适用于深度学习中的高性能计算需求。

NewsNow开源项目 – 优雅阅读实时热门新闻的工具

一个优雅地阅读实时热门新闻的工具，划分为国内、国际、科技、财经等几大类，涵盖了多个主流平台的新闻来源。

TextArena开源项目 – 语言模型评估与强化学习的文本游戏集合

TextArena 是一个专为语言模型评估和强化学习设计的文本游戏集合，提供多种基于文本的游戏环境，支持单机、双人和多人模式，具备本地和在线多人实时评分功能，并采用 Elo 排名系统。项目使用 OpenAI Gym 风格的接口，便于与各种框架集成，适用于语言模型在竞争性文本场景中的评估、强化学习实验、新文本游戏的开发与测试，以及与现有机器学习框架的集成研究。

FinLLMs开源项目 – 金融领域大型语言模型资源汇编

FinLLMs是一个专注于金融领域的大型语言模型资源汇编，涵盖了模型的发展历史、技术细节、评估方法，以及在金融领域面临的机遇与挑战，旨在为研究人员和开发者提供最新的信息和资源支持。

SkyReels-V1开源项目 – 首个开源的以人为本的视频生成模型

SkyReels-V1是昆仑万维开源的中国首个面向AI短剧创作的视频生成模型，基于千万级高质量影视数据进行微调，支持文生视频和图生视频。该模型在生成逼真的面部表情动画、准确反映人类情绪、电影质感等方面表现优异，具有自研的数据清洗与标注管线，支持精准的动作识别与场景理解。