Data Gemma是一个开源模型库,旨在通过谷歌数据共享平台的海量真实世界统计数据,帮助解决语言模型的幻觉问题,实现语言模型的现实世界数据锚定。
MagicPrompts通过将单行GPT-4提示转换为最佳实践提示,帮助用户增强与大型语言模型(LLM)的互动体验,优化生成内容的质量和创意。
RE2通过在提示中重复输入问题两次来提高LLM的推理能力,增强对问题的理解,并促进单向解码器 LLM 的双向编码。该方法兼容现有的思想激发提示技术,适用于多种LLM和推理任务,能够有效提高模型的表现。
高级文本生成工具,旨在提高语言模型输出的质量和多样性,通过动态调整和回溯机制来减少指定的过度使用词汇和短语(即 'GPT slop')的生成概率
CoPE是一种新的位置编码方法,允许根据上下文来调整位置,以关注更高抽象级别的序列元素。它能够根据需要计算每个注意力机制头的距离,解决标准Transformer无法解决的计数和复制任务,并在语言建模和编码任务上拥有更好的困惑度(PPL)。
深入探究自然语言处理(NLP)中不确定性的来源,提供量化模型预测可靠性的新方法。研究涵盖多种语言的数据集,并提出新的校准采样方法以提升自然语言生成的精确性。