一种上下文学习方法，将基于提示的表示应用于自回归模型，以生成高质量的句子嵌入，无需微调。该方法通过利用上下文信息，避免了传统微调过程的复杂性，同时支持不同规模的语言大模型，能够在多种转移任务上取得最佳结果。
MinT 是一个轻量级、可扩展的Transformer库，专为自然语言处理任务而设计，提供易于使用的API，支持多种预训练模型，能够高效地进行模型训练和推理。
river-torch是一个基于PyTorch的Python库，专为在线深度学习而设计，支持实时数据的模型适应。它与River框架无缝集成，提供多种神经网络架构，并包含模型评估和性能监控工具。
GeneralAgent是一个通用的agent架构，具有简单、快速、稳定的特点。它支持序列化，内置多个解释器如Python和Shell，并允许用户动态创建UI界面。此外，用户可以通过自然语言描述直接生成agent，无需编程，极大地降低了使用门槛。
LLaMA.go是一个LLaMA模型的纯Go实现，类似于llama.cpp，但完全用Go编写。
在实际场景用Langchain开发LLM应用的示例，使用JavaScript实现。该项目提供了多种实际应用的示例，展示了如何将Langchain与大型语言模型集成，支持多种语言处理功能，并且易于扩展和自定义。
gptme是一款可以在本地终端运行的个人AI助手，能够编写代码、使用终端、浏览网页和查看图像。支持多种操作和主流LLM提供商。
openlogprobs是一个Python API，旨在通过语言模型API提取完整的下一token概率。它通过使用logit偏置来逆向工程标记的对数概率，支持topk搜索和精确解算法，从而有效提取语言模型API的完整概率向量。
DocsGPT是一个开源文档助手，旨在帮助用户生成、提取和管理各种编程语言的文档。它支持多种文档格式，并提供智能搜索功能，用户可以轻松地找到相关信息。其用户友好的界面使得文档处理变得简单高效。
LLMFarm是一个基于GGML库构建的项目，支持在iOS和MacOS平台上离线运行多个大语言模型，提供用户友好的界面和高效的模型加载与推理功能。
MonkeyPatch 是构建可扩展的 LLM 驱动应用的最简单方式，随着时间推移，应用的成本和速度不断优化。
MLX Engine是一个开源项目，旨在利用Apple M系列芯片的硬件加速能力，以超快的速度和100%本地、离线的方式运行大型语言模型（LLM）。它能够在M3芯片上以约250 tok/秒的速度运行Llama 3.2 1B模型，始终以结构化JSON格式输出，支持通过代码或Chat UI与模型进行交互，并能同时运行多个模型，用户还可以从Hugging Face下载任何模型。
DebugBench是一个包含4,253个实例的LLM调试基准，涵盖了C++、Java和Python中四个主要的漏洞类别和18个次要类别。为构建DebugBench，作者从LeetCode社区收集了代码片段，使用GPT-4向源数据植入漏洞，并确保了严格的质量检查。
该项目结合神经网络和遗传算法，旨在训练一个智能体在Flappy Bird游戏中进行高效的游戏表现。通过机器学习技术，智能体能够不断优化其决策并提高游戏分数。项目支持可视化训练过程，帮助用户理解智能体的学习过程，并允许多人游戏对战，增加趣味性和互动性。
SWE-Agent 是一款开源软件工程代理，旨在通过与通用语言模型（如 GPT-4）结合，提供软件工程任务的解决方案。它能够自动修复 GitHub 仓库中的 bug 和 issue，支持多种编程语言，并与现有的开发工具和环境集成。在 SWE-Bench 上，SWE-Agent 解决了 12.29% 的问题，达到了当前最先进的性能水平。
一个包含示例应用程序的公共 GitHub 仓库，旨在帮助开发者了解如何使用 OpenAI API 的结构化输出功能来构建更可靠的应用程序。该项目提供了多种编程语言的示例，展示了如何有效地利用 OpenAI 的 API，提升应用程序的可靠性与功能性。
最全面的深度强化学习算法PyTorch实现合集，整合了13种主流强化学习算法，适合各级别研究者和开发者。每个算法都配有详细文档、完整训练曲线和论文引用，提供丰富的学习资源推荐，包括环境配置、经典书籍、在线课程和重要论文，确保用户能够顺利进行深度强化学习的实验和研究。
一个用C++/CUDA实现的大型语言模型（LLM）推理工具，不依赖额外的库，除了用于输入输出。该工具旨在提供高效的推理能力，支持加载和保存冻结的LLM权重，适合各种应用场景。
Minja是一个简约的C++ Jinja模板引擎，专为大型语言模型聊天模板而设计，具有高效的性能和灵活的模板渲染功能。
ScrapeGraphAI 是一个网络抓取Python库，使用LLM和图形逻辑为网站、文档和XML文件创建抓取管道。只需说出你想提取的信息，这个工具库就能为你完成！
基于ColossalAI的软件缓存方法来动态管理CPU和GPU内存空间中的极大嵌入表，能够在单个GPU上高效训练包括91.10 GB嵌入表的DLRM模型，仅需分配3.75 GB的CUDA内存，适用于大规模数据集。
旨在实现基于熵的采样和并行链式思维（CoT）解码，目前支持 llama3.1+ 模型，计划支持 DeepSeekV2+ 和 Mistral Large (123B) 模型。该工具通过熵值优化生成过程，提高了生成文本的多样性和准确性，适合处理复杂的文本生成任务。
利用大型语言模型(LLM)驱动的NPC(非玩家角色)项目，旨在为游戏开发提供高性能的交互式角色，支持多种游戏场景，能够在本地硬件上运行，为开发者提供灵活的API接口，增强游戏的互动体验。
Hugging Face关于如何构建AI Agent的课程，介绍了AI Agent的概念、构建高效Agent的关键组件、以及通过smolagents库实现这些代理的方法。课程内容丰富，适合想要深入了解AI Agent的学习者。
分享 GitHub 上一份开源免费的在线教程，涵盖了 PyTorch 基础知识、神经网络、计算机视觉、自定义数据集处理、模块化代码编写以及模型部署等内容。
一个用于快速构建AI驱动界面的React组件库，基于RICH交互范式设计，提供原子化组件和完整的模型集成方案，支持对话流管理、主题定制，让开发者能轻松搭建企业级AI交互界面。蚂蚁开源的构建 AI web应用的框架，覆盖了多种常用的 AI 应用场景，比如 AI 聊天、输入框的快捷指令、AI 助手等。
MLX Data是一个高效的跨框架数据加载库，旨在与PyTorch、Jax或MLX一起使用，既高效又灵活。它每秒可以加载和处理数千张图像，并能对生成的批次运行任意Python转换，适用于各种深度学习任务。
Kogito是一个专注于自然语言处理中的常识推理的工具包，集成了多种推理算法，并提供易于使用的API，支持自定义知识库，使得用户能够灵活地进行知识推理任务。
LLM应用实例教程，涵盖langchain、openai、llamaindex、gpt、chromadb和pinecone等多个工具和技术，提供详细的使用指南和示例，帮助开发者快速上手并实现AI应用。
llamafile项目旨在通过创建一个单一的文件，简化大型语言模型（LLM）的分发和运行过程。用户可以在大多数计算机上本地运行这些模型，无需任何安装，从而保证数据隐私性，所有处理都在本地完成。该项目结合了llama.cpp与Cosmopolitan Libc，支持多个操作系统，致力于实现AI开发者的‘一次构建，随处运行’的梦想。
