Phi-3.5-mini-instruct (128k) 是微软于2024年8月发布的轻量级语言模型，属于Phi-3系列。该模型专注于指令生成任务，具有3.8亿参数，支持128K超长上下文，训练数据达3.4T tokens。采用密集解码器-only Transformer架构，在512张H100-80G GPU上训练10天完成。支持22种语言，在推理任务上表现接近GPT-4水平，特别适合资源受限或延迟敏感的应用场景，如移动端部署和边缘计算。
go-attention是一个纯Go语言实现的注意力机制和Transformer模型库，专为高性能和易用性设计。它不依赖任何外部库，非常适合边缘计算和嵌入式系统。该项目提供了高效的点积注意力机制，支持多头注意力和完整的Transformer层，功能强大且灵活。
YOLOv9 QAT是一个面向TensorRT平台优化的YOLOv9量化感知训练实现，旨在提供高效低延迟的实时目标检测应用解决方案。该项目特别适用于边缘计算和嵌入式设备，支持多种量化策略，能够显著优化模型性能并减少推理延迟。
DataSky AI Cloud Box提供集成边缘计算、存储和WiFi 6的全方位AI解决方案，用户可以根据自身需求定制AI助手，适合家庭或办公室使用。
mllm是一个专为移动和边缘设备优化的轻量级多模态大型语言模型推理引擎，能够在无需依赖外部库的情况下，支持多种模型和硬件架构，提供快速推理能力。
在ESP32微控制器上运行大型语言模型（LLM），探索其在资源受限环境下的可能性，特色包括使用tinyllamas模型和对llama.2c的优化以提高性能。
EdgeVLA是一个开源的边缘视觉-语言-行动模型，旨在增强机器人对视觉信息的理解和执行指令的能力。该项目专为边缘计算环境设计，支持社区贡献和改进。
Meta 发布的 Llama 3.1 1B和3B的官方量化版本，提供了更小的内存占用、更快的设备推理速度、准确性和便携性。
k3s-root 是 k3s 项目的核心组件，提供轻量级的 Kubernetes 解决方案，旨在简化容器管理和部署。
K3s是一个轻量级的Kubernetes发行版，专为资源受限的环境和边缘计算而设计。它具有低资源占用、简单易用的特点，非常适合边缘计算和物联网设备的快速部署。K3s集成了SQLite作为默认存储，同时支持外部存储，确保高可用性，并与Kubernetes API兼容，支持大多数Kubernetes生态系统中的工具和应用。
VT-Transformer是一个基于第一性原理的AI模型转换器，采用宏展开的DSL技术，旨在优化各种AI模型在复杂硬件环境下的性能，特别是针对国产硬件。
LLM API 提供了一套完整的、类型安全且一致的聊天接口，支持 OpenAI、Anthropic 和 Azure 的聊天模型，能够在浏览器、边缘计算和节点环境中灵活使用。
Glide是一个统一的聊天API，提供低延迟的弹性路由和多种回退策略，包括最少延迟、轮询、加权轮询和基于优先级的路由。它支持特定模型的提示功能，并提供更多强大特性。
InAppChat是一个平台，提供愉悦的聊天体验，用户可以在一个接口中利用来自多个平台的聊天机器人和技能。通过1Chatbot构建聊天机器人，无需担心前端的构建，同时提供聊天SDK、API、UI工具包和消息功能，支持将多个自然语言理解(NLU)库结合为一个聊天机器人，从而实现快速开发和未来-proof的解决方案。
04-x是一个以隐私为首的聊天平台，支持多种语言模型，包括GPT-4、ChatGPT、DALL·E 3、Claude 2、Claude Instant、Cohere Chat、Llama 2，以及通过Ollama提供的其他开源模型。
ddle.dev是一个简单的AI驱动工具，帮助用户为其网站创建互动式引导，像视频通话一样便捷，无需安排时间。用户只需几分钟，无需编码即可创建网站引导，并可以与他人分享。
LM Studio 是一个强大的工具，能够让用户在本地发现、下载和运行各种大型语言模型（LLM），用户可以在自己的笔记本电脑上离线使用这些模型，提供了便捷的应用内聊天界面，支持与模型进行交互，同时用户还可以从 HuggingFace 存储库下载兼容的模型文件，并在应用程序主页上发现新的、值得注意的 LLM。
Chatspell是一个与Slack整合的实时聊天软件，允许用户直接从Slack与网站访客沟通，为客户互动提供快速和响应迅速的工具。
