一份结构清晰的技术栈路线图，涵盖从基础设施到Agent消费层的五大核心层级，旨在帮助开发者和企业更好地驾驭AI开发。

基于 llama.cpp 的用于运行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密钥，适用于4GB内存，可运行在 CPU 上。

Transformers和相关的深度网络架构在此进行了总结和实现，涵盖了自然语言处理和计算机视觉等多个领域。

一种特殊的神经网络架构，可以在不增加推理成本的情况下，为语言大模型（LLM）增加可学习的参数。该研究发现模型比密集模型更能从指令调优中获益，因此提出将MoE和指令调优结合起来。

Replit发布的用于代码生成的开源模型，采用CC BY-SA 4.0协议，可以用于商用。模型大小不到3B个参数，在FP16精度下仅需要不到6G显存。

该项目专注于对独立成分进行对齐，以改善多任务学习的效果。通过利用独立成分分析技术，提升多任务学习场景中的性能，适用于多种机器学习任务。

一个开源的 ChatGPT 产品，基于20B的聊天 GPT 模型，尽管尚未成熟，但已经具备基本雏形。

课程聚焦于如何使用ChatGPT相关API（可使用国内大模型API）创造新的功能和应用。内容主要为介绍ChatGPT原理、使用和应用，降低使用门槛，让更多感兴趣的非NLP或算法专业人士能够无障碍使用LLM创造价值。

这是一组简短的（5-10分钟视频）和笔记，解释了我最喜欢的十几篇RAG论文，包含开源实现和代码。

SplattingAvatar是一个基于网格嵌入的高斯散射技术的项目，能够实时生成高质量的人类头像，适用于虚拟和增强现实应用以及动画和游戏开发。

提供了一个库，用于限制大型语言模型（LLM）的输出结构，确保生成的 JSON 数据符合预定义的 JSON 模式。该库通过支持 JSON 模式，功能调用，灵活配置等特性，帮助开发者生成一致且符合要求的数据输出，适用于各种复杂场景。

一款专注于推理计算流水线的集成开发环境，让开发者能够更便捷地构建、调试和部署LLM计算图。

llama-swap 是一个 HTTP 代理服务器，用于在需求时自动加载和切换模型。它支持动态切换 llama.cpp 或其他符合 OpenAI 兼容的后端服务器，如 vllm。该工具简化了模型调用流程，允许在请求中热切换模型，并且可以集成到现有应用程序中以增强模型调用能力。

Branches是一个基于图的高级算法原型工具，专为大型语言模型(LLM)的推理和规划设计，旨在提升模型的推理能力和优化决策过程。

一个开源的AI推理引擎框架，支持多种强大功能，包括逐步推理、基于记忆的规划、多智能体混合决策、束搜索和自我反思等。

gen-ui是一个基于LangChain.js、AI SDK和Next.js构建的生成式UI web应用程序，提供预构建的UI组件模板，支持快速开发和自定义生成式界面，旨在提升开发效率和用户体验。

剑桥法律语料库是一个专为法律领域的人工智能研究而设计的语料库，提供丰富的法律文本数据，支持法律领域的自然语言处理研究，适用于法律AI模型的训练和测试，包含多种法律文书和案例。

MoonPalace（月宫）：由Moonshot AI提供的API调试工具，支持全平台，简单易用，具备捕获完整请求、一键导出BadCase数据等功能，助力快速发现和定位API调用和代码编写问题

Hugging Face发布的新型agent框架，摒弃传统JSON操作，采用代码驱动方式，展现出显著的性能优势。

Tock是一个开放的对话AI平台构建工具包，支持多种对话模型和框架，易于集成和扩展，提供丰富的API接口，能够有效管理上下文和状态，配有用户友好的界面和详尽的文档，旨在帮助开发者快速构建对话系统。

fragments是一个开源的Next.js模板，旨在通过AI完全生成应用程序，支持多种编程语言和AI模型，由E2B开发。它实现了应用的快速开发，极大地提升了开发效率。

用于 LLaMA 3 8B 参数版本的轻量级 CUDA C 语言实现的推理引擎，旨在在 Nvidia GPU 上进行高效的并行处理。该项目旨在充分利用 Nvidia GPU 的性能，以提供快速的模型推理，并易于集成到现有的机器学习工作流中。

该团队专注于金融领域的强化学习（RL）和大语言模型（LLM）的应用，提供数据收集和量化分析的工具和资源。

Intel的LLM加速库，旨在通过使用Intel显卡和带NPU的CPU来加速主流深度学习框架的运行。

检索增强生成 (RAG) 及其他：关于如何让你的 LLM 更明智地使用外部数据的全面调查

Axis Tour是一种方法，用于优化ICA转换后词嵌入中轴的顺序。通过最大化轴的语义连续性，可以改善词嵌入空间的清晰度。实验证明，与PCA和ICA相比，Axis Tour构建的低维嵌入具有更好的性能。

Aria-UI是一款能够理解和执行图形用户界面指令的智能工具，擅长处理多样的指令格式，旨在提高在不同场景下的适应性和准确性。

AgentCoder 是一个具有迭代测试和优化功能的多代理系统，专注于代码生成，从而提高代码质量和开发效率。

该项目旨在理解词嵌入，由达姆施塔特工业大学和莫斯科国立大学的研究人员开发。

TapeAgents是一款支持大型语言模型（LLM）Agent开发全周期的框架，能够通过处理会话日志（Tape）来辅助代理进行思考和行动，具有灵活性和调试工具。