YaRN开源项目 – 高效的上下文窗口扩展工具

是一种通过减少内存带宽需求来增强语言大模型效率的技术。它无需对预训练或微调进行更改，可以显著减少注意力内存需求，而不会影响准确性。

RE2通过在提示中重复输入问题两次来提高LLM的推理能力，增强对问题的理解，并促进单向解码器 LLM 的双向编码。该方法兼容现有的思想激发提示技术，适用于多种LLM和推理任务，能够有效提高模型的表现。

Awesome-GraphRAG 是一个精心策划的资源列表，专注于基于图的检索增强生成（GraphRAG）技术，特别适用于定制化的大型语言模型。该项目汇集了各种相关资源，包括研究论文、工具和教程，旨在为研究者和开发者提供便捷的访问途径。项目内容经过精心组织和分类，确保用户能够快速找到所需信息，并且定期更新以保持与最新研究和工具同步。

codeqai是一个本地优先的语义代码搜索和聊天工具，利用矢量嵌入和大型语言模型(LLMs)来提供高效的代码查询和理解。

VMTP（视觉媒体转录协议）是一个用于视频处理的协议，旨在帮助大型语言模型（LLMs）和AI代理理解视频输入。通过该协议，用户可以将视频信息转化为可供AI分析和处理的数据，从而提升AI对视频内容的理解能力。

Open NotebookLM 是一个开源工具，灵感来源于 Google 的 NotebookLM，允许用户通过大型语言模型（LLM）和文本转语音（TTS）技术将 PDF 文档转换为引人入胜的播客对话。它提供了一个简单易用的平台，特别适合研究人员、开发者和内容创作者。用户可以通过 Gradio 界面上传 PDF 文件，系统会生成自然对话并转换为 MP3 音频文件。项目声称支持 13 种语言，但具体语言列表未明确。

Build Your Own AI 为开发者提供实用的见解和示例代码，专注于构建真实世界的AI应用，涵盖大型语言模型(LLMs)和提示工程等概念。

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

pyllms是一个用于与大型语言模型交互的Python库，提供了对多种模型的统一接口，简化了模型的调用和管理过程，同时支持模型的性能评估和比较。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

DeepSeek AI 是一家中国人工智能公司，专注于开发大型语言模型（LLM），成立于2023年7月，由High-Flyer对冲基金拥有和资助。其旗舰模型DeepSeek-R1于2025年1月发布，性能可与OpenAI的GPT-4和o1媲美，但训练成本显著降低。DeepSeek AI的核心创新包括混合专家（MoE）架构、多头潜注意力（MLA）和多令牌预测（MTP），这些技术显著减少了内存使用和训练成本。模型开源，供广泛用户和开发者使用，适用于聊天机器人和AI助手应用。

TinyZero是一个以不到30美元的成本，利用veRL强化学习训练框架，在qwen2.5模型基础上进行训练的项目，能够复现DeepSeek R1论文中的'Aha moment'，并提供完整实验日志和开源代码，方便复现和学习。

GLM-4 是智谱公司开发的一系列大型语言模型，最新旗舰模型为 GLM-4-Plus，在语言生成、理解、逻辑推理、指令遵循和长文本处理方面表现优异，与 GPT-4o 和 Llama3.1 性能相当。通过 API 调用，适用于内容创作、数据分析、教育和编程等多种场景。

ChatGPTFirewall是一个基于网页的应用程序，允许用户上传文件，使用自然语言提问，并根据向量数据库和大型语言模型接收上下文相关的回答。

Harmonic Loss 是一种新型的损失函数，旨在替代传统交叉熵损失函数，用于训练神经网络和大型语言模型。它通过引入尺度不变性和有限收敛点等特性，提升模型的可解释性并加速收敛。研究表明，Harmonic Loss 在减少模型泛化延迟（'grokking'现象）和数据效率方面表现优异，并在算法、视觉和语言数据集上验证了其有效性。

Time-LLM 是一个通过重新编程大型语言模型来进行时间序列预测的项目，能够高效处理和预测各种时序数据。

天工AI搜索是昆仑万维推出的首个AI搜索产品，利用100亿参数级的大型语言模型‘天工’，提供精准、个性化的对话式回答。它集成了搜索、对话、写作、文档分析、绘图和PPT制作等多种功能，适合学习、工作和生活。