资源受限环境

Sol是一款阳光明媚的小型虚拟机，专为嵌入式系统和资源受限环境设计。它具有高效的内存管理、支持多种编程语言、易于扩展和定制，并且能够在跨平台上运行。

stories-llama2-50k是一个仅50K大小的超小模型，专为资源受限的环境设计。它能够在内存较小的设备上运行，如386计算机，并且适合在DOS系统等低资源环境中使用。该模型特别适用于嵌入式系统或物联网设备的AI应用，能够在这些设备上进行自然语言处理任务。

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

在ESP32微控制器上运行大型语言模型（LLM），探索其在资源受限环境下的可能性，特色包括使用tinyllamas模型和对llama.2c的优化以提高性能。

llama4micro是一个在单片机上运行的LLaMA模型，专为资源受限的环境设计，支持15M参数模型，内存占用约60MB，能够以每秒约2.5个token的速度生成文本，特别适合生成小故事，优化用于单片机平台。

BIG-Bench是一个用于评估神经网络模型性能的基准测量工具，旨在提供全面的评估方法，通过多个任务和指标来衡量AI模型的能力。

Fable Wizard 是一个个性化儿童故事生成器，允许父母在几秒钟内为孩子创造独特而神奇的寓言。每个故事都是实时创作，旨在激发和吸引孩子的想象力，确保每次阅读体验都是新鲜且沉浸的。

允许用户通过统一的 API 访问多平台的生成式模型，litellm的国内版，旨在简化模型调用和集成流程，提升开发效率。

基于LLaMA衍生的本地模型，风格偏向ChatGPT的聊天模式，能够接入流行的ChatGPT开源界面Chatbot UI。该项目旨在提供高效的自然语言处理功能，支持多种语言的输入和输出，可在本地运行，无需依赖互联网，特别适合低资源环境。

AubAI是一个开源的Flutter/Dart包，旨在为移动应用提供先进的本地生成式AI(gen-AI)模型，包括离线文本生成等功能。