Self-Consistency是Google提出的一种方法,通过对单一模型进行多次采样和结果融合,显著提升大规模语言模型的推理能力和输出结果的可信度。该方法特别适用于大模型,能够生成高质量的训练数据,从而优化模型的训练过程。
一种特殊的神经网络架构,可以在不增加推理成本的情况下,为语言大模型(LLM)增加可学习的参数。该研究发现模型比密集模型更能从指令调优中获益,因此提出将MoE和指令调优结合起来。
Anote平台通过人性化的AI技术,积极从人类反馈中学习,不断优化GPT-4、Bard、Claude等AI算法及RLHF、Fine-Tuning和RAG等技术,使其在特定用例中随着时间的推移表现得更好。
哈佛大学出品的新论文,旨在提升LLM在TrucefulQA数据集上的正确率。该项目通过改进模型的输出和修正机制,使得大型语言模型在处理特定数据集时表现更佳。
Tree of Thoughts (ToT) 是一个强大而灵活的算法,能将模型推理能力提升多达70%。该插件式版本允许用户连接自己的模型,体验超智能的推理能力。
本项目研究了大语言模型中的epoch次数设置问题,深入探讨训练epoch数量对模型性能的影响,以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。
建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件,旨在优化吞吐量,简化在资源受限环境中训练中型模型的分布式方案设置工作流程,尤其适用于学术集群。
GPT-Minus1是一个通过随机替换文本中的单词为同义词来帮助迷惑GPT的工具。它旨在通过引入微妙的变化来增强文本生成模型的性能和准确性。用户只需输入文本并点击'Scramble'按钮,该工具就会随机替换单词,从而创建修改后的文本版本,用户可以使用该文本来迷惑GPT或其他文本生成模型。
HunyuanVideo是一个大型视频生成模型的系统框架,能够生成与领先闭源模型相媲美的视频,支持多模态信息融合和大规模模型训练。该项目旨在提供高效的工具和环境,以促进视频生成技术的发展和应用。
该项目旨在对GPT-4-128K进行压力测试,通过简单的检索操作在不同的上下文长度下评估其准确性,适用于多种文档格式和内容。