llama-swap 是一个 HTTP 代理服务器，用于在需求时自动加载和切换模型。它支持动态切换 llama.cpp 或其他符合 OpenAI 兼容的后端服务器，如 vllm。该工具简化了模型调用流程，允许在请求中热切换模型，并且可以集成到现有应用程序中以增强模型调用能力。

Branches是一个基于图的高级算法原型工具，专为大型语言模型(LLM)的推理和规划设计，旨在提升模型的推理能力和优化决策过程。

这本书尝试教会普通人用自然语言和AI写出真正具有商业价值的复杂应用，结合大模型的现状与实践经验，提出了专门为AI自编程优化的PDTAC循环流程，帮助普通人开发功能复杂、质量优秀的应用，并借用软件工程中的工具。

基于PyTorch从零实现的Flow Matching生成模型框架，支持MNIST数据集的有条件和无条件生成。包含MiniUnet模型结构，支持classifier-free guidance，可在CPU上运行。提供了完整的训练推理代码和详细注释，适合学习和理解Flow Matching算法原理

一种通过哨兵令牌压缩自回归变换器上下文的方法，提高模型效率。

fragments是一个开源的Next.js模板，旨在通过AI完全生成应用程序，支持多种编程语言和AI模型，由E2B开发。它实现了应用的快速开发，极大地提升了开发效率。

用于 LLaMA 3 8B 参数版本的轻量级 CUDA C 语言实现的推理引擎，旨在在 Nvidia GPU 上进行高效的并行处理。该项目旨在充分利用 Nvidia GPU 的性能，以提供快速的模型推理，并易于集成到现有的机器学习工作流中。

Intel的LLM加速库，旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。

OpenCat是一个开源的四足机器人宠物框架，旨在开发类似波士顿动力的四足机器人，非常适合STEM教育、编码、机器人应用以及AI增强。

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

vicuna-33b是最新发布的高性能开源模型，尽管开源，但不允许商用，适用于各种自然语言处理任务。

AgentCoder 是一个具有迭代测试和优化功能的多代理系统，专注于代码生成，从而提高代码质量和开发效率。

该项目旨在利用机器学习算法自动化生成恶意软件签名，从而提高恶意软件检测的效率，支持多种恶意软件类型，适用于安全软件集成和新型恶意软件研究。

Claude 3.5 Sonnet 是一种结合动态思维链、反思和口头强化等技巧的语言模型，旨在提高测试时间计算能力，匹配 OpenAI o1 等推理能力强的模型。

本文对软件工程 (SE) 大型语言模型 (LLM) 的新兴领域进行了调查，提出了将LLM应用于软件工程师面临的技术问题的开放研究挑战。

elmer是一个R语言的LLM API调用工具，让用户友好地接入主流的大型语言模型服务，支持流式处理和R函数的轻松注册调用。

开源的一站式AI网关和API开发者门户，帮助开发者和企业轻松管理、集成和部署AI服务，支持商用。提供用户友好的界面，支持服务的集成与定制，适合各种商业应用场景。

Repopack是一款功能强大的工具，可将整个存储库打包成一个 AI 友好文件，适用于大型语言模型 (LLM) 和其他 AI 工具。

一个Python包，用于存储、检索和动态创建GPT模型的提示。旨在简化管理大型语言模型的过程，使在生产环境中改进语言模型变得更加简单。

EricLLM是一个快速批处理API，旨在为各种大语言模型提供高效的服务，支持多种模型配置和资源管理，方便用户进行批量文本处理和集成到现有应用中。

一个专注于编程任务的O1模型复现项目，结合强化学习(RL)和蒙特卡洛树搜索(MCTS)来增强模型的系统思维能力，包含测试用例生成器(TCG)和自弈强化学习两大核心组件，旨在生成更高效和逻辑性强的代码

Aider是一个AI结对编程工具，支持多种输入形式，包括图片和语音，能够自动提交代码并抓取网页内容，为开发者提供便捷的编程辅助。

OpenCodeInterpreter是一个集成了代码生成、执行和调优的开源系统，利用名为Code-Feedback的独特数据集，能够生成、执行和优化代码。

StarCoder是一个代码生成模型，旨在通过训练实现指令跟随的能力，类似于ChatGPT。它使用OpenAssistent数据集和GitHub的代码及issues数据进行训练，能够灵活生成多种类型的代码。

一个为AI聊天设计的React组件库，能帮助开发者轻松搭建聊天界面，支持多种AI模型，让聊天应用的开发更简单快捷

BitNet是微软发布的1-bit LLM变体研究，支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1}，显著改善了时延、内存利用、吞吐量和能耗，能够在苹果M2等CPU上运行，适用于1.58位模型的无损推理。

最新的开源自然语言-SQL查询生成大语言模型，性能优于 OpenAI 的 gpt-3.5-turbo，显著优于 Postgres 中通用 SQL 模式的所有主要开源模型。

Coinbase CDP Agentkit是一个为AI Agent提供上链服务的工具包，使每个AI Agent都能够拥有自己的加密钱包。该工具包实现了框架无关的AI Agent原语，支持与LangChain和Twitter的无缝集成，同时允许多种链上操作，旨在简化AI Agents的上链过程。

Lookahead decoding是一种创新的并行解码算法，加速大LLM的推理过程，提升模型生成文本的速度，适用于需要快速回应的应用。

一款开源的Swift语言包，让你轻松与OpenAI的公共API进行交互，支持Azure、AIProxy和Assistant流API。该项目旨在简化与OpenAI服务的集成，提高开发者的工作效率，并提供多种灵活的使用方式。