高吞吐量低延迟应用

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练，并引入了一种名为ReLoRA的方法，利用低秩更新来训练高秩网络。

PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对，通过交互式编程对话提高编程效率和准确性。PAIR是开源项目，为开发人员提供更高效、更智能的编程工具。

Zero是一个简单、快速、高性能且低延迟的Python框架，适用于构建微服务或分布式服务器，支持RPC和PubSub功能。

ScaleLLM是一个面向大型语言模型高性能推理的系统，经过仔细设计，能够满足产业级环境的需求。

liteLLM是一个开源库，旨在简化LLM（大语言模型）的完成和嵌入调用。它提供了一个方便易用的接口，使得调用不同的LLM模型变得更加简单。用户只需导入'litellm'库并设置必要的环境变量（如OPENAI_API_KEY和COHERE_API_KEY），即可创建Python函数并使用liteLLM进行LLM完成调用。此外，liteLLM还提供了一个演示平台，用户可以在其中编写Python代码并查看输出，从而比较不同的LLM模型。

LLM Giraffe🦒可以用来扩展LLM的上下文长度，它实现了将LLAMA v1 2K的上下文长度扩展为4K和16K，支持长文本处理，优化上下文管理，易于集成到现有的LLM工作流中。

针对特定用例、数据和查询智能适应的 RAG（Retrieval-Augmented Generation）框架，旨在提供可解释、高精度、高效的代理驱动检索工作流程。

Fine-Tuner AI是一款强大的工具，利用尖端的微调技术提升您的自然语言处理(NLP)模型性能。它可以在更少的数据下以极短的时间内实现更好的结果。用户只需将NLP模型和数据上传到平台，Fine-Tuner将应用其先进的微调算法，优化模型以提高性能。优化后的模型可以轻松集成回现有工作流程中。

Muduo是一个用于开发高性能网络应用的C++非阻塞I/O网络库，具有事件驱动设计，适合多线程环境。

一个超低延迟的Java进程间通信框架，基于环形队列实现，具有无锁、无垃圾回收、批处理和并发特性。

Unsloth 是一个用于训练和推理大型语言模型（LLM）的工具，特别适用于使用 DeepSeek 的 GRPO 算法进行训练。它显著减少了 VRAM 的使用，使得在有限资源下训练 LLM 更加高效。Unsloth 支持多种主流架构优化，如 Llama3、Qwen 等，在消费级显卡上实现 2-5 倍训练速度提升，显存占用降低 70%。此外，Unsloth 还支持本地 QLoRA 微调，适用于多种自然语言处理任务，并提供了适合初学者的 Colab 环境，方便用户快速上手。

LZAV是一种快速内存数据压缩算法，具有高压缩速度（460+MB/s）和高解压速度（2500+MB/s），其压缩比优于LZ4、Snappy和LZF，适用于需要高性能压缩的各种场景。