LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势，提供比Vllm更快的表现。

该项目汇集了多个开源的中文预训练语言模型及其对应的指令数据集，旨在为中文自然语言处理提供丰富的资源。

Flappy Monorepo 是一个面向开发者的生产级 LLM 代理 SDK，旨在简化 AI 的集成和使用。它支持多种大语言模型，确保稳定性，并提供易于扩展和定制的功能，适合各种应用场景。

Transformers Notebooks是一组用于自然语言处理的Jupyter笔记本，旨在帮助用户快速上手使用Transformers库，提供丰富的示例和教程，涵盖文本分类、问答、翻译等多种任务，同时支持快速实验和模型评估。

提供了一系列针对3D原子系统的几何GNN模型，还包括了相关的数据集和有用的软件库列表。

基于AutoDL快速部署开源大模型，提供完整指南，包括环境配置、部署和微调，助你轻松掌握各类大模型应用

LiteChain是一个构建LLMs应用的轻量级替代LangChain的选择，专注于拥有小而简单的核心，易于学习、适应，文档完备，完全类型化和可组合，旨在帮助开发者快速实现复杂应用逻辑。

开源项目draw-a-ui，通过tldraw绘制图形，直接生成HTML代码，并支持后续修改，使用了GPT4 Vision的API，方便用户进行可视化编辑和实时预览。

用Rust语言开发的语言模型管控框架，其设计目标是提供一个简单易用且易扩展的管控框架，帮助开发者创建语言模型管控应用。

Coin-CLIP是一个开源的多模态模型，专为美国硬币的检索而设计。它结合了图像和文本数据处理能力，支持高效的硬币识别和分类，适合研究人员和开发者使用。

TokenLearn 静态词嵌入：一种预训练模型2Vec的方法，专注于提升自然语言处理中词嵌入的静态特性，使其更适用于各种下游任务。

quantkit是一个命令行工具，专门用于下载和转换HuggingFace模型，支持多种模型格式的量化，旨在简化模型处理流程。

记载工程实践问题的解决策略与关键要点，分享各种实用案例，追踪前沿技术发展，囊括 AI 全栈知识，涵盖大模型、编程技术、机器学习、深度学习、强化学习、图神经网络、语音识别、NLP 及图像识别等领域

NanoFlow是一个面向大型语言模型(Large Language Models, LLMs)的高吞吐量高性能服务框架，采用设备内并行性、异步CPU调度和SSD卸载等关键技术，显著提升资源利用率和推理吞吐量。

用于微调和评估开源大型语言模型的工具集，目前处于早期开发阶段，旨在为研究人员和开发者提供一个强大、灵活且易于使用的解决方案。

WinkNLP是一个自然语言处理库，提供高性能的分词和多种NLP功能，适用于JavaScript应用程序。

Superflows是一个开源工具包，用于为SaaS产品构建AI助手，用户可以用自然语言提问，然后助手调用软件API来回答问题。

适用于端边云场景的AI推理应用开发框架，提供了基于Pipeline的并行执行流程，能帮助AI应用开发者较快的开发出高效、高性能，以及支持软硬协同优化的AI应用。

Cursive是一个直观的Python大型语言模型（LLM）框架，旨在简化与LLM的交互，支持多种模型和任务，提供高效的数据处理能力和灵活的API设计，适用于各种应用场景。

Multimodal-Open-O1是一款本地运行的推理模型增强工具，旨在通过一种新的提示式方法提高本地推理模型的准确性，能够在本地环境中创建类似OpenAI-o1的推理链，支持多模态输入，适用于各种任务的推理需求。

Ratchet是一个跨平台的浏览器机器学习框架，支持多种机器学习模型，兼容各种浏览器，易于集成到现有的Web应用中，提供高性能的计算能力，并且设计了用户友好的API，方便开发者使用。

TrustCall 工具：基于 LangGraph 的强大工具调用库，旨在通过让 LLM（大型语言模型）生成 JSON 补丁操作来提高生成和修改复杂 JSON 结构的效率和准确性

gpt_index是一个简单方便的工具，旨在将各种文本数据（如pdf、epub等）与ChatGPT整合，以便用户能够基于文本内容进行问答。该工具支持多种文本格式，并且易于使用，适合快速搭建AI问答应用，同时提供Google Colab Notebook以便于用户配置和使用。

Chocolate Factory 是一款开源的 LLM 应用引擎/应用框架，旨在帮助您轻松打造强大的 SDLC + LLM 生成助手，同时集成代码库 AI 助手功能，支持多种设计思想，基于 Apache 2.0 协议进行开发。

一个关于GPT-4的精选资源列表，包含了各种与GPT-4相关的提示、工具和资源，方便用户查找和使用，适用于开发者和AI爱好者。

JAXSeq建立在Huggingface的Transformers库之上，可用JAX训练非常大的语言模型，目前支持GPT2，GPTJ，T5和OPT模型。它结合了JAX的高效计算能力与Huggingface的丰富模型资源，提供了一个灵活且高效的训练平台，适用于不同规模和类型的语言模型的训练与微调。

firecrawl的主要功能是为AI应用提供来自任何网站的干净数据。它通过一个API服务，接受一个URL，进行抓取、爬取并将网站内容转换成干净的Markdown或结构化数据。Firecrawl支持将整个网站的内容转换为适合大语言模型（LLM）的格式，并且可以自动提取和格式化文本内容。该工具开源，支持自托管，便于开发和集成。

TokenHawk是一个基于WebGPU的工具，旨在通过手写LLaMA模型进行高效的LLM推理，支持多种输入格式，并提供实时推理性能优化，适用于各种应用场景。

关于开发者在使用大型语言模型(LLM)时选择哪个模型的视角的资源库，列举了当前开发者使用的一些开源和商业LLM，并提供了关于如何选择LLM的指南。

nanoChatGPT是在nanoGPT基础上，结合了人类反馈的强化学习层，使用Gumbel-Softmax技巧以提高训练效率，适合进行小型模型的快速实验。