长颈鹿版LongLLaMA是一个专门针对上下文长度达到100K的情况下,保持模型性能的研究项目。它提出了一种新的训练目标,以有效处理长文本中的相关与无关的key-value空间结构,从而解决模型的分心问题,确保在处理超长文本时的高效性和准确性。
RWKV Infinite Context trainer 是一个用于训练任意上下文大小的工具,能够处理超过10k的上下文长度,同时在几乎恒定的VRAM内存消耗下运行。
Giti.AI是一个强大的语言模型,能够生成模仿人类写作的文本,适用于文本摘要、问答和文本生成等多种自然语言处理任务。其关键特性是能够理解提示的上下文,并生成个性化的响应。
PAIR是一款利用机器学习技术开发的AI驱动的编码辅助REPL工具。它将GPT-4与开发人员配对,通过交互式编程对话提高编程效率和准确性。PAIR是开源项目,为开发人员提供更高效、更智能的编程工具。
MiniRBT (中文小型预训练模型) 是由iFLYTEK开发的一个小型中文预训练模型,旨在提供高效的自然语言处理能力。
MiniCPM-V 是一款拥有 8B 参数的先进 AI 模型,性能优于 GPT-4V 等顶级型号,提供卓越的 OCR 功能,并支持 30 多种语言。它是一个强大的端侧多模态大语言模型,在单图像、多图像和视频理解方面超越了 GPT-4V,支持在 iPad 等终端设备上进行实时视频理解。MiniCPM-V 2.0 是一个高效的端侧多模态大模型,具有强大的 OCR 和图文理解能力,并且是一个开源项目。
SimSIMD是一个基于SIMD指令集的库,旨在提供高效的相似性度量和距离计算,适用于大规模数据集,支持多种相似性度量算法,并提供易于使用的API和多种编程语言接口。