AI交流(进群备注:llm-hallucination-survey)

大型语言模型(LLM)幻觉相关论文列表,旨在解决大语言模型中的幻觉和真实性问题,通过评估、检测和改进方法提高语言模型的可靠性和正确性。
llm-hallucination-survey的特点:
1. 提供与LLM幻觉相关的研究论文列表
2. 聚焦于生成内容与源内容或世界知识不符的现象
3. 帮助研究人员和开发者理解和改进LLM的可靠性
4. 汇集评估、检测和改进方法的文献
llm-hallucination-survey的功能:
1. 查阅LLM幻觉相关的研究资料
2. 为研究和开发提供参考文献
3. 了解如何提高语言模型的真实性和可靠性
相关导航

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理
提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构,融合数据移动和逐元素操作,降低内存访问频率和系统延迟。同时,提出一种段KV缓存策略,将请求和响应token的键/值存储在不同的物理内存中,以有效管理设备内存,提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案,并与标准的HuggingFace实现进行了比较,对于一些流行的LLM模型,在Intel GPU上实现的解决方案的令牌延迟降低了7倍,吞吐量提高了27倍。
暂无评论...