AI-magic AI-magic

边缘设备算力

FederatedGPT-Shepherd开源项目 – 保护隐私的分散式LLM训练方法
FederatedGPT-Shepherd开源项目 – 保护隐私的分散式LLM训练方法

一个新的LLM训练方法，通过将训练分散到不同的边缘设备上以保持数据隐私，同时最大化利用边缘设备的算力。
SmolLM2开源项目 – 轻量级AI模型，适合资源有限设备
SmolLM2开源项目 – 轻量级AI模型，适合资源有限设备

SmolLM2是HuggingFace团队推出的轻量化AI模型系列，支持在资源有限的设备上运行，提供多个参数版本（135M、360M和1.7B），能够处理多种任务，特色是体积小、速度快，开发者友好，支持多种集成和部署方式。
SwiftInfer开源项目 – 无限输入长度的AI推理
SwiftInfer开源项目 – 无限输入长度的AI推理

基于TensorRT实现的Streaming-LLM技术，旨在支持LLM模型进行无限输入长度的推理，提供高效、实时的AI服务。
IBM Granite 3.0语言模型开源项目 – 轻量级多语种语言模型
IBM Granite 3.0语言模型开源项目 – 轻量级多语种语言模型

一套全新的轻量级、多语种支持的语言模型，专为推理、编程和工具使用设计，可在计算资源受限的环境中运行，适合企业使用和定制
BALROG开源项目 – 评估游戏环境中的智能Agent能力
BALROG开源项目 – 评估游戏环境中的智能Agent能力

一个创新的基准测试框架，专门评估大语言模型(LLM)和视觉语言模型(VLM)在游戏环境中的智能Agent能力。支持本地部署和主流AI API集成，提供完整的评估工具集，可用于测试模型在长期交互任务中的推理表现。
Hailo官网 – 边缘AI技术变革者
Hailo官网 – 边缘AI技术变革者

Hailo通过先进的处理器和软件解决方案，专注于边缘设备上的AI能力，降低延迟，提升效率，适用于汽车、工业自动化等多个领域。
超越Chinchilla-Optimal-优化LLM参数与数据配置
超越Chinchilla-Optimal-优化LLM参数与数据配置

在这篇论文中，研究人员修改了Chinchilla扩展定律，以计算最佳的LLM参数数量和预训练数据大小，以训练和部署具有给定质量和推理需求的模型。
Monica图标

通过字节跳动免费使用满血可联网DeepSeek R1

现在注册，立即送145元代金券

字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3