Falcon 2 11B 是由阿联酋技术创新研究所(TII)开发的大型语言模型,拥有110亿参数,经过5.5万亿token的训练。该模型在语言理解和生成方面表现出色,支持多种语言,适合研究和商业用途。其性能优于Meta的Llama 3 8B,与Google的Gemma 7B相当,尤其在Hugging Face的评估工具中表现领先。
TinyCLIP通过亲和模仿和权重继承技术,优化CLIP模型的蒸馏过程,提升小型模型在视觉任务中的表现,并支持多模态应用的迁移学习。
Gemini多模态试炼场是一个用于构建实时语音和视频代理的 Python 应用,借助 Google 的新 Gemini 2.0 模型,支持实时语音和视频输入以及音频回应。该应用程序提供两种版本:完整的全栈 web 应用程序和独立的 Python 脚本,方便用户根据需求选择。
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。通过 Int4 量化技术,MiniCPM 实现了在手机端的部署能力,提供与人类说话速度相当的流式输出速度。MiniCPM 在中文、数学和编程能力方面表现优异,超越了 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。此外,基于 MiniCPM-2B 开发的多模态模型 MiniCPM-V 在同规模模型中表现最佳,支持高效参数微调和全参数微调,二次开发成本较低。
一个开源工具包,用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter,提供更高级的功能,支持社区贡献与扩展。
TinyZero是一个以不到30美元的成本,利用veRL强化学习训练框架,在qwen2.5模型基础上进行训练的项目,能够复现DeepSeek R1论文中的'Aha moment',并提供完整实验日志和开源代码,方便复现和学习。
DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。
Portal是加载和可视化深度神经网络在图像和视频上的最快方式,基于TypeScript和React构建,并集成了Flask后端,提供高效的深度学习模型操作体验。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型