LLM调用库

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

BreveAI 提供了一种独特的大型语言模型（LLM）方法，能够与现实世界数据整合，优先考虑任务效率。它采用开源模式，提供易于使用的API，定价透明，较当前LLM价格低30%，且准确率高40%。

PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对，通过交互式编程对话提高编程效率和准确性。PAIR是开源项目，为开发人员提供更高效、更智能的编程工具。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

研究团队从学习搜索算法中得到启示，利用文本生成的关键特性，应用了强化学习和引导反馈。该算法在IMDB正面评论和文本生成任务上超越了默认的PPO基线，证实了与指导型语言大模型交互的优势。

Deita旨在为大型语言模型(LLM)的指令微调提供自动数据选择工具和高质量的对齐数据集，Deita模型能通过比其他SOTA LLM少10倍的指令微调数据进行训练，达到与它们相媲美的性能。

Llama已然是最领先的开源大模型LLM，下载量接近3.5亿次，需求巨大，适用于各种自然语言处理任务。

该项目是一个专注于大型语言模型（LLM）终身学习的资源库，收集了相关的精华综述、研究资源和论文，旨在促进LLM的持续学习能力和性能提升。

ChatGLM-6B-API是基于清华大学开源的对话语言模型ChatGLM-6B和FastAPI构建的API，能够在本地部署并提供API接口，方便用户进行对话生成和自然语言处理。

该项目提供系统化的深度学习学习资料，专注于大语言模型的对齐，涵盖多种深度学习技术和方法，适合不同水平的学习者。

一套评估大语言模型AI研发能力的任务集合，包含7个具有挑战性的任务，涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域，每个任务都有明确的评分标准和基准分数，用于测试AI代理与人类专家的能力对比

MobileCPM是一个旨在帮助开发者将大型语言模型无缝集成到移动应用中的工具集，能够实现多种用例的本地模型能力，支持在移动设备上运行并提供多种功能，简化了开发者的集成过程。

本文调查了快速发展的指令调优 (IT) 领域的研究工作，这是增强大型语言模型 (LLM) 功能和可控性的关键技术。

openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。

TextSynth 提供对大型语言模型和文本到图像模型的访问，如 Llama2、Falcon、GPT-J、GPT-NeoX 等，用户可以通过 REST API 或者友好的操作界面进行文本补全、问答、分类、聊天、翻译和图像生成等多种任务。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

哈佛大学出品的新论文，旨在提升LLM在TrucefulQA数据集上的正确率。该项目通过改进模型的输出和修正机制，使得大型语言模型在处理特定数据集时表现更佳。

精选大型语言模型在推理时自我改进的研究论文列表，助力模型性能提升。该项目汇集了大量优秀研究，提供最新的调查结果，旨在帮助研究者和开发者优化大型语言模型的性能。