该项目允许用户在CPU上运行MPT-30B模型的推理,具有低训练和运行成本的特点。用户只需32G内存即可进行模型推理,适合各种文本生成和评估任务。
该项目旨在使用Rust语言在CPU上运行大型语言模型的推理。它不仅实现了快速的推理速度,还能在低能耗的情况下提供高效的性能。适用于本地推理和Rust项目集成,适合研究新语言模型应用。
一个用于中文信息抽取的项目,基于LLaMA和Alpaca模型,结合LoRA技术进行微调。该项目旨在提供高效、准确的中文文本处理能力,特别是在命名实体识别(NER)方面,支持多种训练和评估配置,方便用户根据需求进行模型微调与集成。
为在强化学习(RL)智能体中嵌入和利用语言模型的能力,本文设计了一个以语言为核心推理工具的框架,探索了如何通过语言能力解决中的一系列挑战,包括高效探索、重用经验数据、调度技能和从观察中学习等。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型