一个开源框架,专为大型语言模型提供高级推理能力,支持数据生成、策略训练和多种搜索策略,让机器更聪明地理解和解决问题。
Inferflow是一个高效且高度可配置的大型语言模型推理引擎,旨在优化推理性能,支持多种自定义配置,以满足特定需求。
Logic-of-Thought(LoT)旨在通过将逻辑注入上下文,提升大型语言模型的推理能力。该项目利用命题逻辑生成扩展的逻辑信息,并与现有的提示方法无缝集成,显著提升了多种提示方法在复杂任务中的性能。
一个强大的框架,通过集成sparse kernel、量化、剪枝和注意力键/值的缓存,进一步优化了在CPU上进行的能力。
DALLE-reproduction项目旨在重现OpenAI的DALLE模型,能够根据文本描述生成高质量图像,支持多种文本输入格式,并提供可扩展的模型架构和可调参数,以优化生成效果。该项目实现了多种训练和推理策略,适用于多种应用场景。
该项目涉及与OpenAI o1相关的研究工作和背景技术,包括大型语言模型推理、自我博弈强化学习、复杂逻辑推理、规模法则等内容。
SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试,研究发现当前的语言模型在整体性能方面表现不佳,仅得到35.80%的分数。
一款专注于上下文理解和检索增强生成的6B大模型,旨在提升机器在理解和生成文本方面的应用能力。该模型通过先进的算法和丰富的训练数据,能够在各种自然语言处理任务中表现出色,尤其在对话系统和信息检索等领域,提供更为精准和相关的结果。
Gemini是谷歌最大的AI模型,旨在通过加速人类进步和改善生活给人类和社会带来巨大利益。它在多个领先基准上表现出色,支持不同尺寸的优化:Ultra、Pro和Nano。Gemini从零开始构建为多模态,能够理解、操作和结合文本、代码、音频、图像和视频等不同类型的信息。
Cleora PRO帮助数据科学和分析团队在没有昂贵硬件的情况下创建高质量的嵌入。用户可以通过加入Cleora PRO的私人测试版,从数据库中提取三列数据,系统会自动检测数据中的图形。
快速入门Llama 3.1的最小化方案库,支持本地推理和API推理,适用于不同模型大小和权重精度配置,提供多样化的笔记本和工具使用示例