Long-Context开源项目 – 扩展LLM上下文长度的工具

Eternity AI是印度理工学院帕特纳分校的一个研究项目，旨在构建一个以人为本的语言模型，能够通过访问实时互联网来模拟人类行为，减少幻觉，并在超过10万个行为参数上进行训练。

Llama 3 是一个开放获取的语言模型，专注于语言细微差别、上下文理解及复杂任务，如翻译和对话生成。该模型在多种语言处理任务中表现出色，能够处理复杂的语言环境，适用于多种应用场景。

Alpaca 是斯坦福大学基于 LLaMa-7B 训练的开源语言模型，其性能可与 173B 的 GPT-3.5 媲美。通过优化数据集，Alpaca 能够在微调 7B 和 13B 参数的语言模型时显著提高效果。

提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构，融合数据移动和逐元素操作，降低内存访问频率和系统延迟。同时，提出一种段KV缓存策略，将请求和响应token的键/值存储在不同的物理内存中，以有效管理设备内存，提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案，并与标准的HuggingFace实现进行了比较，对于一些流行的LLM模型，在Intel GPU上实现的解决方案的令牌延迟降低了7倍，吞吐量提高了27倍。

Llama 2的中文微调版本，旨在提高中文文本生成和理解的能力。该模型基于Llama 2架构，经过专门的中文数据训练，能够更好地处理各种中文语境，适用于对话系统、内容创作、文本分析等多种应用场景。

最新发布的语言模型，包括编程模型和数学模型，性能更强，支持128K上下文，能生成最多8K的内容。

WolongAI是一个基于create-react-app构建的网站，专注于提供与人工智能相关的解决方案和服务。用户可以通过访问网站，探索其多种功能和特性。

Infinity是一个高吞吐、低延迟的REST API，专为向量嵌入服务而设计，支持多种sentence-transformer模型和灵活的框架兼容性，旨在提升机器学习和自然语言处理任务的效率和性能。

ParlAI是一个由Meta（前Facebook）开发的开源对话模型框架，旨在提供更自然流畅的人机对话体验。它结合了增强学习和深度学习技术，适用于聊天机器人和虚拟助手等应用。该框架支持70+个开放对话数据集，提供统一的训练和评估框架，并包含丰富的工具和示例代码，易于扩展和自定义。

Engraph是一个通过自然语言处理自动化ETL管道构建过程的平台，使用户能够方便地从数据中生成洞察。

AcademicGPT 是一款基于人工智能的工具，旨在帮助用户加速学术写作过程。它利用先进的自然语言处理技术，提供智能建议，生成高质量内容，从而提升写作的生产力和效率。用户只需创建账户并登录，然后输入学术写作的提示或主题，AcademicGPT 将处理输入并生成相关且连贯的内容建议，涵盖引言、论文结构和结论等各个部分。用户可以根据需求自定义和完善生成的内容。

深言科技联合清华大学NLP实验室开源的语鲸-8B模型，其能力大致介于ChatGLM2和3之间。该模型支持多种自然语言处理任务，适用于各种应用场景。

Flappy Monorepo 是一个面向开发者的生产级 LLM 代理 SDK，旨在简化 AI 的集成和使用。它支持多种大语言模型，确保稳定性，并提供易于扩展和定制的功能，适合各种应用场景。

Towhee 是一个开源的嵌入框架与社区，旨在帮助用户使用深度学习的方法处理非结构化数据，如图片、视频和自然语言。

原生稀疏注意力（Native Sparse Attention, NSA）技术通过让模型在计算注意力时只关注最重要的信息，大幅减少了计算量，从而加速了注意力计算的速度。NSA 技术在性能上实现了效率与精度的双重提升，尤其在处理长文本序列时表现出色。

Microsoft Knowledge Exploration旨在弥补庞大数据存储库与终端用户之间的鸿沟，提供直观的界面和AI驱动的搜索功能，帮助用户高效地导航复杂数据集。

OPUS MT是赫尔辛基大学开发的开源翻译模型，专门用于将中文prompt翻译成英文prompt。它基于先进的神经机器翻译技术，支持多种语言之间的翻译，易于使用和集成，适合各种自然语言处理应用。

FetchFox 是一款基于人工智能的网页抓取工具，作为Chrome扩展运行，用户可以用自然语言描述所需数据。通过简单的步骤，用户可以提取网页上的数据，并以CSV文件格式下载，便于后续使用。

DeepSeek-V3是硅基流动（SiliconFlow）在硅云（SiliconCloud）平台上提供的大型语言模型服务，采用混合专家（MoE）架构，总参数量为6710亿，每个token激活370亿参数。该模型预训练于14.8万亿多样化、高质量的token，支持监督微调和强化学习，性能优于其他开源模型，并与领先的闭源模型相当。通过华为云昇腾云服务提供，声称性能与全球高端GPU部署模型相当，适合各种自然语言处理任务。

DeepTutor 是一个利用深度学习技术提供个性化辅导的在线平台，能够理解复杂文档并为用户提供定制化的学习支持。通过先进的自然语言处理算法，DeepTutor 能够分析学生的需求，提供针对性的学习建议和资源，提升学习效率。

AnglE是最新的文本嵌入模型，旨在优化文本嵌入，作为新一代的语义文本相似度方法，取得了新的最先进(SOTA)结果。它提供了预训练模型，包括语言模型(LLM)和数据集。

Multi-token Prediction 是由 Meta AI 提出的一种新型训练方法，旨在提高大型语言模型（LLM）的效率和性能，特别是在生成任务中表现突出。该方法通过在每个训练语料的位置同时预测多个未来 token，从而提高数据效率和性能，而不会增加训练时间。该方法特别适用于较大模型和多次训练周期，并且通过自投机解码技术，推理速度可能提升至 3 倍，适合实时应用。