本项目对大型语言模型中的上下文长度扩展进行了详细调研,讨论了现有策略、评估复杂性及研究者面临的挑战。
LLMDrift是一个项目,旨在研究大型语言模型(如GPT-3.5和GPT-4)的性能漂移,特别关注其性能可能随时间下降的趋势及其影响。
该项目旨在对GPT-4-128K进行压力测试,通过简单的检索操作在不同的上下文长度下评估其准确性,适用于多种文档格式和内容。
一套评估大语言模型AI研发能力的任务集合,包含7个具有挑战性的任务,涵盖Rust代码编程、GPT-2微调、嵌入修复、LLM训练优化、GPU内核优化等领域,每个任务都有明确的评分标准和基准分数,用于测试AI代理与人类专家的能力对比
本文调查了快速发展的指令调优 (IT) 领域的研究工作,这是增强大型语言模型 (LLM) 功能和可控性的关键技术。
这是一个关于科学大型语言模型(Sci-LLMs)的全面调查,重点关注生物学和化学领域,提供深入的分析与比较,以助于研究人员更好地了解和应用这些模型。
一个致力于探索搜索和学习两大通用方法在人工智能领域强大潜力的项目,旨在展示通用搜索和学习方法在大规模计算下的强大能力,特别是在优化大型语言模型的测试时计算方面。
一个整理的大语言模型在表格数据应用的论文资源列表,汇集了大量与表格数据处理相关的研究资源,并提供对大语言模型在这些应用中的深入分析。项目持续更新,确保资源的时效性和相关性,支持多种表格数据处理任务的参考资料。
该项目旨在研究微调语言大模型可能导致的安全性对齐问题,并探讨潜在的安全风险。它关注微调过程中可能出现的安全隐患,寻求改善现有安全基础设施的方法。
LLM Giraffe🦒可以用来扩展LLM的上下文长度,它实现了将LLAMA v1 2K的上下文长度扩展为4K和16K,支持长文本处理,优化上下文管理,易于集成到现有的LLM工作流中。
一个关于LLM作为评判器的综合资料库,收集整理了大语言模型在评判任务中的应用研究,涵盖了帮助性、无害性、可靠性、相关性、可行性等多个评估维度,以及相关方法论和评估基准