无损推理

BitNet是微软发布的1-bit LLM变体研究，支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1}，显著改善了时延、内存利用、吞吐量和能耗，能够在苹果M2等CPU上运行，适用于1.58位模型的无损推理。

VT-Transformer是一个基于第一性原理的AI模型转换器，采用宏展开的DSL技术，旨在优化各种AI模型在复杂硬件环境下的性能，特别是针对国产硬件。

ChatOrDie 是一个可以匿名比较多种顶尖AI模型的平台，包括 ChatGPT-4o、Gemini 1.5、Anthropic、Claude、Cohere、Mistral 等。用户可以并排比较不同模型的响应，快速识别单一AI的偏见、幻觉和错误，从而揭示真相，帮助做出明智的决策。

LLM-Tuning 是一个专注于简化大语言模型（LLM）微调过程的工具，支持多种模型与数据集，旨在帮助用户轻松实现模型训练与评估。

FewCLUE是一个专为中文自然语言处理设计的小样本学习测评基准，提供多种评测任务，支持各种模型和算法的评估，易于扩展和定制，旨在推动中文NLP研究的发展。

吴恩达的课程，旨在引导学员完成LLM预训练流程，包括数据准备、模型架构配置、训练和评估。学员将学习如何使用HuggingFace获取训练数据，配置Transformer网络，运行训练并进行性能评估，同时探讨深度升级技术以降低计算成本。

一个完整的管道，用于在消费级硬件上使用LoRA和RLHF微调Vicuna LLM。该项目实现了基于Vicuna架构的RLHF（强化学习与人类反馈），基本上是ChatGPT的变种，但使用Vicuna。

ExLlamaV2是一个高效的推理库，旨在让用户能够在现代消费级GPU上本地运行各种大型语言模型（LLMs），并优化内存使用，以实现快速推理。

tinyzero是一个使用Python编写的项目，旨在轻松训练类似AlphaZero的智能体，适用于任意环境，并提供了训练和评估智能体的功能。

miniLLMFlow是一个极简的LLM框架，仅用100行代码实现，旨在使大型语言模型能够进行自我编程。该框架提供了简洁易用的接口，并支持高效的模型训练和推理，适合研究和应用开发。

mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎，能够在无需依赖外部库的情况下，支持多种模型和硬件架构，提供快速推理能力。

Contentable.ai是一个端到端的生成式AI测试平台，帮助用户在选择采用前对多个AI模型进行A/B测试。用户可以在一个屏幕上通过一次点击对比速度、成本和输出，同时支持所有主要的AI供应商。

Jan 是一个开源的 GPT 替代工具，支持在本地计算机上 100% 离线运行主流开源大语言模型，如 Mistral、Llama、Mixtral 等。它提供了一个高颜值且操作便捷的图形用户界面，用户无需编写代码即可轻松安装、管理和使用这些模型。Jan 兼容 Windows、Mac 和 Linux 系统，并支持多种硬件架构，包括 Nvidia GPU、Apple M 系列、Apple 英特尔、Linux Debian 和 Windows x64。此外，Jan 还支持与外部人工智能服务（如 ChatGPT 或 Google）的连接，并允许用户根据特定需求定制人工智能模型，将其集成到日常工具和应用程序中。

提出了一种在输入问题类型未知的混合任务场景下的通用思想链（Meta-CoT）提示方法，旨在弥合性能和泛化之间的差距。

一个自托管的 GitHub Copilot，GitHub Copilot 的开源/本地替代方案，旨在提供灵活的开发体验。它可以在本地运行，无需依赖外部数据库或云服务，同时具备可视化界面和强大的API接口，方便集成到现有开发环境中。