长文本分块嵌入优化

Late Chunking 是 JinaAI 发布的一种用于处理长文本的嵌入生成方法，通过延迟分块策略解决长距离上下文依赖性问题。该方法首先对整个文本进行编码，生成包含全局信息的 token 向量序列，然后对这些向量进行分块平均池化，生成具有上下文感知的 chunk 嵌入。该技术特别适用于长文本的语义匹配任务，如 RAG（Retrieval Augmented Generations）系统，能够显著提升文本检索的准确性。