长文本处理AI模型

Qwen2.5-Turbo-1M-Demo是由阿里巴巴开发的AI模型，支持100万Tokens的上下文长度，约等于100万个英文单词或150万个汉字。该模型在处理复杂长文本任务时表现出色，如在大海捞针任务中能够完美捕捉所有隐藏的数字。相比之前1M Tokens上下文长度的开源模型，它在短文本基准测试中表现更优，与GPT-4o-mini和Qwen2.5-14B-Instruct模型在短文本任务的性能接近，同时支持8倍长度的上下文。该模型采用了稀疏注意力机制，推理速度快，生成首个token时间从4.9分钟缩短至68秒。