CPU高效推理

该项目旨在使用Rust语言在CPU上运行大型语言模型的推理。它不仅实现了快速的推理速度，还能在低能耗的情况下提供高效的性能。适用于本地推理和Rust项目集成，适合研究新语言模型应用。

这个开源项目是一个响应式聊天应用程序，使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能，适用于开发人员。这个项目使用了Next.js、React和Joy等技术。

EET是一个针对大型NLP模型的可扩展推理解决方案，旨在提供高性能的推理支持，特别是针对Transformer结构的大模型，同时支持长序列的场景，易于集成和使用。

MiniMax-01 是一个开源项目，包含基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。它支持超长上下文处理，适合AI Agent领域和各种需要处理大量信息的场景。该模型采用混合架构，结合Lightning Attention、Softmax Attention和专家混合（MoE），能在推理时处理长达400万token的上下文，并在多个学术基准测试中表现出色。此外，它还支持文本/图像/3D模型联合生成，实现在游戏资产创作场景中的风格一致性控制，生成速度比Stable Diffusion快3倍。

StreamingLLM 是一种语言模型，能够顺利处理无尽的文本而不会失去上下文信息流，从而实现与人工智能助手的深度对话和长文本总结。

ChatGLM-6B-API是基于清华大学开源的对话语言模型ChatGLM-6B和FastAPI构建的API，能够在本地部署并提供API接口，方便用户进行对话生成和自然语言处理。

基于PyTorch的GPT-2模型训练器，优化效率和代码简化，实现现代技术如旋转嵌入，以更少的token达到相同验证损失。该项目专注于提升模型训练的效率，使得用户能够在多种深度学习任务中更便捷地使用GPT-2架构。

这是一个正在开发中的SQLite扩展，旨在使用llama.cpp生成文本嵌入，适用于文本语义搜索和分析。

foyer是一个用Rust语言编写的混合缓存库，旨在提供高效且易用的缓存解决方案。它完美融合了内存与磁盘缓存，支持即插即用的缓存算法，能够在高并发环境下稳定运行，且利用Rust的类型系统实现零拷贝缓存，提升性能。同时，友好的API设计使得开发者无论新手还是老手都能轻松上手，方便接入主流的监控系统。

tonic 是一个 gRPC over HTTP/2 实现，专注于高性能、互操作性和灵活性。它使用 Rust 编写，适合用于生产系统，提供对 async/await 的一流支持。

一种通过哨兵令牌压缩自回归变换器上下文的方法，提高模型效率。

该项目基于 QLoRA 技术对 Falcon-7B 大型语言模型进行微调，专注于心理健康领域的对话数据集，从而提升模型在特定领域的性能。该模型支持多种对话场景的处理，旨在为心理健康相关应用提供更优质的支持。

一个用Rust编写的轻量神经网络推理引擎，能将ONNX格式的机器学习模型高效运行在各种平台上，特别适合需要高性能和跨平台支持的场景。

Serde 是一个用于高效且通用地序列化和反序列化 Rust 数据结构的框架，支持多种数据格式的处理，包括 JSON、YAML、BSON、URL 等等。

为Rust语言打造的线性代数基础库，旨在提供一个功能全面、便于使用的线性代数解决方案，助力Rust开发者更高效地进行相关计算和开发

llama2.cpp 是一个高效的推理库，专为 C++ 开发，支持 CPU 计算，并且未来将支持 CUDA 和 AVX512，旨在提供高效的 Llama 2 模型推理体验，方便集成到各种 C++ 项目中。

TAG-Bench是一个用于回答数据库上的自然语言问题的项目，通过Table-Augmented Generation（TAG）模型，探索语言模型与数据库之间的广泛交互，提供首个基准测试研究TAG问题，并验证标准方法在此类查询上的挑战性。

该项目允许用户在CPU上运行MPT-30B模型的推理，具有低训练和运行成本的特点。用户只需32G内存即可进行模型推理，适合各种文本生成和评估任务。