推理集成

TensorZero是一个开源基础设施，旨在支持生产级、可扩展和复杂的大型语言模型（LLM）系统。它集成了推理、可观测性、优化和实验功能，支持多步骤LLM系统，并通过ClickHouse数据仓库实现实时、可扩展且开发者友好的分析。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

RisingWave是一个为云设计的开源分布式SQL流数据库，旨在降低构建实时应用程序的复杂性和成本，并与PostgreSQL生态系统无缝集成。

LangChain是一个用于构建基于大型语言模型（LLM）应用的框架，它简化了复杂任务的实现，并支持多种集成和扩展。

Lepton AI SDK旨在简化AI应用的构建过程，提供一个Pythonic的框架，易于集成并支持多种AI模型，同时允许进行实时数据处理。

Composable Prompts是一个顶尖平台，旨在快速构建、测试和部署基于大型语言模型（LLMs）的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能，使开发者能够高效地创建强大的提示，重用它们，并在不同环境中进行测试。同时，它通过智能缓存优化性能和成本，并允许轻松切换模型和运行环境。

Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。

LLM App是一个用于构建和服务AI应用以及支持LLM的实时数据管道的生产框架，旨在简化AI管道，集成各种功能，提升开发效率。

该项目提供了高效大语言模型的文献综述，涵盖最新的研究进展和技术，适用于研究人员和开发者的参考资料，并支持多种应用场景的分析。

ConsoleX是一个综合性的LLM实验平台，结合了聊天接口、LLM API实验和批量评估，支持所有主流LLM，并提供比官方实验室更多的增强功能。

Metaplane是一款数据可观测性平台，帮助数据团队及时发现问题、了解故障原因，并提供解决方案。

一个通过模拟面试过程来评估大型语言模型（LLMs）能力的框架，让一个LLM扮演面试官的角色，通过提供反馈和追问问题来全面评估其他LLMs的能力。