AITP（Aligning Instruction Tuning with Pre-Training）论文 – 提升大型语言模型性能的创新方法
AITP 是一种通过识别并改写预训练语料库中未被现有指令微调数据集覆盖的部分，生成高质量指令-响应对，从而显著提升大型语言模型（LLM）性能的方法。其核心步骤包括自适应数据选择、可控改写和平衡集成，确保数据质量和模型表现。该方法在多个开源LLM（如OLMo-7B、MAP-Neo-7B和Pythia-12B）上进行了评估，结果显示在多个基准测试中性能显著提升。
