MUSE开源项目 – Facebook开源的多语言词向量库

中科闻歌研发的新一代开源大语言模型，采用了超过 2 万亿 Tokens 的高质量、多语言语料进行预训练。

ERNIE是百度发布的知识增强的预训练模型，旨在提升中文自然语言处理（NLP）任务的性能，超越BERT等现有模型。它结合了大规模的知识图谱数据，增强了模型的理解能力，在各项中文NLP任务中表现优异，支持多种自然语言处理任务。

Fairseq 是一个由 Facebook AI Research (FAIR) 开发的开源序列到序列学习工具包，专注于自然语言处理任务，如机器翻译、文本摘要、情感分析等。它提供了高效的训练和推理框架，支持多种模型架构，包括 Transformer、LSTM 等。Fairseq 广泛应用于文本生成、语音识别等领域，具有模块化设计，便于进行自定义开发。

Custom.MT是一个为本地化团队、语言服务提供商、产品经理和翻译人员设计的生成式AI和机器翻译平台。它提供了包括模型微调、机器翻译评估、内部机器翻译、语言数据匿名化、术语合规、翻译记忆清理、数据获取和开源机器翻译研讨会等多种服务。此外，Custom.MT还为流行工具如Trados、Smartling和memoQ提供AI翻译平台，以及API文档、博客、案例研究、事件和网络研讨会等资源。

fairseq是一个用于序列建模的开源工具包，支持多种自然语言处理和语音处理任务。

Óu dào Mò fǎ Fānyì 是一款由 Óu dào 公司开发的浏览器翻译插件，旨在为用户提供便捷的翻译服务。该插件支持多种翻译场景，包括对照翻译、输入框翻译和图片翻译，适用于网页浏览和文本处理。用户可以通过安装插件到支持的浏览器（如 Chrome 或 Firefox）中，快速获取翻译结果，特别适合需要实时翻译的外语学习者或跨语言工作者。

SentenceX是一个支持多种语言的句子分割库，针对速度和实用性进行了优化，适用于文本到语音和机器翻译等多种应用场景。

MBZUAI Bactrian-X是一个多语言可复制的指令遵循模型，使用了3.4M条指令从52种语言训练而成，提供52种单语言模型和1种多语言模型。

Frame Semantic Transformer是一个基于T5模型的框架语义解析器，利用FrameNet进行深度语义分析，支持多种自然语言处理任务，具备灵活的模型训练和微调能力，能够高效地进行推理。

中文Mixtral-8x7B，基于Mistral发布的模型Mixtral-8x7B进行了中文扩词表增量预训练，旨在提升中文文本生成和理解能力，支持多种自然语言处理任务。

COMPACTER是一种用于大语言模型微调的技术，通过引入适配器、低秩优化和参数化超复数乘法层，在任务性能和可训练参数数量之间取得更好的平衡。它通过低秩超复数适配器减少内存占用，并在GLUE和SuperGLUE基准测试上达到了与标准微调相当或更好的性能。COMPACTER在机器翻译、文本摘要等领域能有效增强模型的泛化能力。技术原理包括在预训练模型中插入特定于任务的权重矩阵，通过共享的“慢”权重和每个COMPACTER层定义的“快”秩一矩阵之间的Kronecker积降低参数复杂度，利用超复数乘法层（PHM）和低秩参数化来减少模型参数，同时保持或提高模型性能。

基于MindSpore的易于使用和高性能的自然语言处理(NLP)和语言模型(LLM)框架，与Huggingface的模型和数据集兼容，支持多种NLP任务。

H2O.ai的开源大语言模型GPT项目，旨在创建世界上最好的开源GPT模型，提供强大的自然语言处理能力，支持多种任务，适用于大规模应用。

Transformers和相关的深度网络架构在此进行了总结和实现，涵盖了自然语言处理和计算机视觉等多个领域。

OLMo是一个由科学家设计的开源语言模型仓库，旨在训练和使用AI2最先进的开放语言模型。它采用两阶段训练程序，第一阶段在大约4T令牌的网络语料库上训练，第二阶段在约50-100B令牌的高质量目标语料库上微调。OLMo已用于各种自然语言处理任务，包括文本生成、问答和翻译。