基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

针对 LiteRT 模型的高级后训练量化工具，旨在帮助开发者优化资源密集型模型（如 GenAI 模型）以在边缘设备上实现最佳性能。该工具支持灵活的后训练量化，专为提高边缘设备的运行效率而设计，适用于需要减少模型大小和计算需求的应用场景。

该项目是一个基于PyTorch实现的Spatial Transformer Network (STN)，采用Thin Plate Spline (TPS)技术进行空间变换，能够灵活地对输入图像进行几何变换，支持高效的训练与推理。

AWS AI Stack是一个现成的全栈模板项目，旨在帮助开发者在AWS上构建无服务器的AI应用程序，支持多种功能，并提供强大的基础设施支持。

LLMChat是一个全栈Web界面的实现，支持多种大型语言模型，如ChatGPT或LLaMA，旨在提供用户友好的互动体验。它允许用户进行实时对话，并具备可定制的模型参数，方便多种部署选项。

AI 代码工具 Bolt.new 是一个开源项目，旨在帮助开发者更高效地编写代码，支持多种编程语言，提供智能代码补全和实时预览等功能，用户界面友好，方便开发者使用。

MLX-Textgen是一款轻量Python包，旨在在兼容OpenAI的API端点上提供大型语言模型(LLM)服务。通过MLX实现的智能缓存机制，使得文本生成更加流畅与高效，适合多种文本生成任务，易于集成到现有应用中。

基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行，具备优化的内存管理和计算性能，提供用户友好的接口，支持多种语言模型。

mlx-llm是基于苹果MLX框架的一个应用平台，旨在为用户提供一个运行和测试语言模型的环境。它支持多种语言模型，并提供交互式实验环境，使得机器学习实验和原型开发变得更加高效。用户可以轻松集成和扩展功能，进行模型输出的可视化和调试，满足各种实验需求。

Candle是一个用Rust编写的机器学习框架，旨在提供高性能的计算能力，灵活的模型构建方式，支持多种机器学习任务，且易于集成和扩展，适用于各种场景。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

用来简单创建LLM聊天机器人的框架，加载数据、分块、创建嵌入向量全自动处理。支持各种格式，快速运行，一分钟内拥有自己的聊天机器人。

这是一个双层递归卷积网络模型的参考实现，旨在提供灵活的应用支持和优化的性能。

GalLama是一个专注于本地agentic任务优化的LLM推理API服务后端，提供实验性特性和模型下载功能，能够支持多模型并发运行及负载均衡，旨在提升推理效率和灵活性。

Teable是一个超快速、实时、专业、开发者友好的数据库，使用类似于电子表格的界面来创建复杂的企业级数据库应用。

卡内基梅隆大学团队在首届AI数学奥林匹克竞赛(AIMO)中获得亚军的开源项目，包含完整的训练数据集(AIME、AMC、Odyssey-Math)、验证集、模型微调代码和数据收集脚本，为研究AI解决数学问题提供了宝贵资源

这个项目展示了如何结合Panel和lightning.ai的力量，构建、扩展和部署强大的机器学习和深度学习数据应用。

MorphTE项目旨在通过在张量嵌入中注入形态学知识，增强自然语言处理任务的效果。它与Fairseq框架集成，提供了对嵌入的形态学意识，帮助提升变换模型的性能。

llmflows是一个用于构建和管理大语言模型工作流程的框架，旨在简化复杂任务的处理和优化。它支持多种语言模型的集成，提供可重用的组件，便于与外部API交互，同时配备可视化工具，帮助用户调试和监控工作流程。

Node Llama.cpp 是一个为 llama.cpp 提供的 Node.js 绑定，旨在简化与 C++ 代码的交互，支持高效的机器学习模型调用，并易于集成到现有的 Node.js 应用程序中。

该项目提供了一个关于LLM应用开发的电子书，涵盖了理论学习及实践代码，帮助理解和整合信息处理系统。

这是一个与Llama2相关资源的集合，包括教程、论文和工具，旨在为用户提供全面的信息和支持。该项目还接受社区贡献并定期更新，所有资源都经过分类，便于用户浏览和查找。

Copilot More以每月10美元的价格提供强大的GPT-4o和Claude-3.5-Sonnet模型API接口，帮助开发者在各种编程工具中实现智能代码生成和优化，从而提升编程效率和代码质量。

大型语言模型资源手册，汇集模型训练、部署、微调和构建应用的精选资源，覆盖AI社区的热门领域

Meta Lingua 是一个轻量级、高效且易于修改的大型语言模型（LLM）研究代码库，专为研究者设计，支持模型训练和推理。其核心特点是使用易于修改的 PyTorch 组件，方便研究者尝试新的架构、损失函数和数据集。Meta Lingua 提供端到端的训练、推理和评估功能，模块化设计使其具有高度可重用性和灵活性，能够快速迭代和验证新概念。

NVIDIA free-threaded-python 提供了一个无全局解释器锁（GIL）的 Python 环境，集成了 NVIDIA 的深度学习库，旨在为 Python 生态系统中的并发执行迈出一步。该项目通过消除 GIL 限制，提高 Python 在多线程环境下的性能，并且易于与现有的 Python 项目集成，为开发者提供了更高效的多线程应用解决方案。

Data Prep Kit 是一个开源项目，旨在为大型语言模型应用程序的开发者提供高效的数据准备和处理工具。该项目支持多种规模的数据处理，从个人电脑到数据中心级别，兼容代码和自然语言等多种数据模式，帮助用户简化数据准备流程。

XGrammar是一个开源的结构化生成库，支持通用的上下文无关文法进行广泛的结构化生成，提供经过系统优化的快速执行能力。

Chronos是一个基于语言模型架构的概率时间序列预测预训练模型，能够将时间序列数据转化为Token序列，并通过交叉熵损失训练语言模型，从而实现多轨迹采样以获得概率预测分布。

一个深度学习论文的学习项目，包含超过60篇论文的代码实现和详细注释，支持在线阅读和中文版。