GPUStack开源项目 – 开源GPU集群管理器

Coin Wizard是一个人工智能工具，允许用户通过安全的API轻松连接到其加密货币交易所账户，并在加密市场中赚取被动收入。用户只需创建API密钥，连接账户，选择风险和收益水平，Coin Wizard的AI算法将自动为用户进行交易。

your.gg 是一个分析和人工智能平台，旨在帮助玩家提升游戏表现。通过输入游戏数据，用户可以获得个性化的建议，从而改善游戏技巧，赢得更多比赛。

PromptPortals是一个管理和优化AI提示的平台，用户可以通过API和分析功能，结合用户反馈，轻松创建和管理OpenAI API调用的提示。它为AI应用程序提供了一个简单的中间层接口，帮助开发者提升交互效果。

Langfuse是一个旨在帮助开发者构建和管理AI应用程序的基础设施平台，提供了丰富的功能和工具，以简化AI模型的集成和部署。其目标是让AI开发变得更简单、高效，并降低技术门槛。

GPTsuite是一个基于OpenAI构建的全功能AI工具包，用户可以通过自己的API密钥访问各种AI工具，无需每月订阅。

RunPod是一个全球分布的云平台，专门用于运行AI推理和训练。它提供GPU实例，支持流行的框架如TensorFlow和PyTorch，使得AI工作负载的处理变得简单便捷。用户可以通过注册账号并登录，部署基于容器的GPU实例，选择不同的GPU类型和区域以满足特定需求。RunPod还提供无服务器GPU计算、各种应用的AI端点以及增强隐私和安全性的安全云选项。

RouteLLM 是一个用于服务和评估 LLM 路由器的框架，旨在在不影响模型质量的情况下显著节省 LLM 的使用成本。它提供了一个 OpenAI 兼容的 API，能够根据请求自动路由到最佳模型，同时开箱即用的训练路由器功能使得成本降低高达 85%，且性能保持在 95% 的 GPT-4 水平。RouteLLM 还支持轻松扩展，以便添加新的路由器和基准，并通过单个命令比较所有路由器的性能。

Nexa SDK是一款全面支持ONNX和GGML模型的工具包，具备文本生成、图像生成、视觉-语言模型（VLM）、自动语音识别（ASR）和文本到语音（TTS）功能，提供OpenAI兼容的API服务器，支持JSON模式调用函数和流媒体，配备用户友好的Streamlit UI，方便开发者使用和集成。

AIBrix 是一个开源项目，旨在为构建可扩展的生成式人工智能（GenAI）推理基础设施提供基础组件。它提供了一个云原生解决方案，专门为部署、管理和扩展大型语言模型（LLM）推理而优化，尤其适合企业需求。AIBrix 使用 Kubernetes 进行部署和管理，支持高密度 LoRA 管理、LLM 网关和路由、自动缩放器、统一 AI 运行时、分布式推理、分布式 KV 缓存、经济高效的异构服务以及 GPU 硬件故障检测等功能。

YALS是一个友好的OAI兼容API服务器，使用Deno、Hono和Zod构建，旨在通过llama.cpp后端促进LLM文本生成。它支持灵活的Jinja2模板引擎，与HuggingFace标准兼容，并基于Hono和异步TypeScript实现高效的并发推理。

一款基于苹果MLX框架的本地推理服务器，专为Apple Silicon芯片优化设计。支持OpenAI兼容的API接口，实现文本对话、语音转换、图像生成等AI能力。

Astra Assistant API Service是一个与OpenAI beta Assistants API兼容的后端实现，支持持久线程、文件处理、助手功能、流式处理、检索功能和函数调用等。它使用AstraDB作为数据库和向量存储，提供了强大的数据处理和存储能力，适用于构建智能助手、对话系统、文件管理应用、数据检索功能以及集成流式数据处理等场景。

OpenAI兼容的API，用于TensorRT LLM triton backend，提供了与langchain集成的功能，支持高效推理和灵活后端配置。

Rizt是一个平台，帮助用户在无需编码或机器学习知识的情况下设计、分析和集成AI代理。用户可以通过友好的界面选择预构建模块并定义代理的行为，创建后可以分析其性能，并将其集成到所需的应用或系统中。

Findernest提供全面的解决方案，包括科技咨询、云计算、数据处理和人工智能，涵盖从人员招聘到AI与网络安全的各项服务，旨在为全球企业推动卓越和执行力。