liteLLM官网 – 简化LLM调用的开源库

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入’litellm’库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

liteLLM的特点:

1. 支持多种LLM模型调用
2. 提供简单易用的接口
3. 允许比较不同的LLM模型
4. 适用于多种自然语言处理任务
5. 提供演示平台

liteLLM的功能:

1. 用于文本生成任务
2. 用于语言理解
3. 用于聊天机器人开发
4. 用于研究目的
5. 用于构建需要LLM能力的应用

相关导航

BreveAI官网 – 高效集成现实数据的语言模型

BreveAI 提供了一种独特的大型语言模型（LLM）方法，能够与现实世界数据整合，优先考虑任务效率。它采用开源模式，提供易于使用的API，定价透明，较当前LLM价格低30%，且准确率高40%。

pair开源项目

PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对，通过交互式编程对话提高编程效率和准确性。PAIR是开源项目，为开发人员提供更高效、更智能的编程工具。

LLM Compressor开源项目 – 高效压缩大型语言模型

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

Learning to Generate Better Than Your LLM-应用强化学习提升文本生成质量

研究团队从学习搜索算法中得到启示，利用文本生成的关键特性，应用了强化学习和引导反馈。该算法在IMDB正面评论和文本生成任务上超越了默认的PPO基线，证实了与指导型语言大模型交互的优势。

Deita开源项目 – 高效的指令微调数据选择工具

Deita旨在为大型语言模型(LLM)的指令微调提供自动数据选择工具和高质量的对齐数据集，Deita模型能通过比其他SOTA LLM少10倍的指令微调数据进行训练，达到与它们相媲美的性能。

Llama官网 – 领先的开源大模型LLM

Llama已然是最领先的开源大模型LLM，下载量接近3.5亿次，需求巨大，适用于各种自然语言处理任务。

awesome-lifelong-learning-methods-for-llm开源项目 – 终身学习资源库，助力LLM发展

该项目是一个专注于大型语言模型（LLM）终身学习的资源库，收集了相关的精华综述、研究资源和论文，旨在促进LLM的持续学习能力和性能提升。

ChatGLM-6B-API-基于ChatGLM开源项目 – 6B的本地对话API

ChatGLM-6B-API是基于清华大学开源的对话语言模型ChatGLM-6B和FastAPI构建的API，能够在本地部署并提供API接口，方便用户进行对话生成和自然语言处理。

Deep Learning Curriculum开源项目 – 聚焦大语言模型对齐的深度学习课程资料

该项目提供系统化的深度学习学习资料，专注于大语言模型的对齐，涵盖多种深度学习技术和方法，适合不同水平的学习者。

ai-rd-tasks开源项目 – 评估大语言模型AI研发能力的任务集合

一套评估大语言模型AI研发能力的任务集合，包含7个具有挑战性的任务，涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域，每个任务都有明确的评分标准和基准分数，用于测试AI代理与人类专家的能力对比

MobileCPM开源项目 – 移动应用中集成大型语言模型的工具集

MobileCPM是一个旨在帮助开发者将大型语言模型无缝集成到移动应用中的工具集，能够实现多种用例的本地模型能力，支持在移动设备上运行并提供多种功能，简化了开发者的集成过程。

Instruction Tuning for Large Language Models: A Survey-指令调优的研究综述

本文调查了快速发展的指令调优 (IT) 领域的研究工作，这是增强大型语言模型 (LLM) 功能和可控性的关键技术。

openlogprobs开源项目 – 提取语言模型的下一token概率

openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。

TextSynth官网 – 文本与图像生成的强大工具

TextSynth 提供对大型语言模型和文本到图像模型的访问，如 Llama2、Falcon、GPT-J、GPT-NeoX 等，用户可以通过 REST API 或者友好的操作界面进行文本补全、问答、分类、聊天、翻译和图像生成等多种任务。

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

暂无评论

暂无评论...