One-GLM开源项目 – 高效的GLM架构模型

该项目提供多个无审查的中文语言模型，支持多种文本生成任务，灵活选择与使用，开放访问，社区驱动更新。

专家自主选择模型 (AoE) 是一种新型的混合专家模型 (MoE)，专家根据其内部激活范数自主决定是否处理输入，从而消除了传统的路由模块。这种方法通过低秩分解提高了效率，并在自然语言理解任务中表现出色。AoE 的设计减少了计算开销，简化了架构，并在多个自然语言理解任务上优于传统 MoE 模型。

Forgetting Transformer (FoX) 是一种改进的 Transformer 模型，通过在 Softmax 注意力机制中加入遗忘门，增强了处理长文本和序列任务的能力。它的设计目标是提升长文本建模、长度外推和短文本任务的性能，同时保持长上下文处理能力，并解决标准 Transformer 缺乏显式数据依赖遗忘机制的问题。FoX 通过数据依赖的方式下调未归一化的注意力分数，命名为“遗忘注意力”（Forgetting Attention）。研究表明，FoX 在长上下文语言建模、长度外推和短上下文下游任务上优于标准 Transformer，而在长上下文下游任务上表现相当。此外，FoX 兼容 Flash Attention 算法，且无需位置嵌入，保留了 Transformer 相对于循环序列模型（如 Mamba-2、HGRN2 和 DeltaNet）在长上下文能力上的优势。

激活信标可以将LLM的原始激活压缩成更紧凑的形式，从而在有限的上下文窗口中感知更长的上下文。它通过短滑动窗口处理长上下文，同时保留LLM在短上下文上的原始能力，显著提高了长上下文语言建模和理解任务的表现。

ModernBert是由Hugging Face、NVIDIA和Johns Hopkins University联合开发的新型编码器模型，旨在取代原始BERT模型。它显著提升了效率，支持长达8192个token的上下文处理，并提供基础版（149百万参数）和大型版（395百万参数）两个版本。ModernBert在分类、检索和问答任务中表现出色，特别适合处理复杂任务。

LexiLaw是一个核心模块，利用自然语言理解技术来解释用户查询，并提供清晰、简洁的法律问题答案。它能够处理合同审查、特定法律下的权利以及程序性法律建议等主题。

Skit.ai是一个专注于自动化和增强客户沟通的语音AI平台，旨在简化呼叫中心操作，减少对人工干预的依赖，同时保持高水平的客户服务。该平台利用先进的语音自动化和自然语言理解技术，能够有效处理客户来电，提高客户满意度，并提供数据分析以支持决策。

DriveLM是一个基于大语言模型的无人驾驶推理系统，能够高效处理多种驾驶场景和任务，并支持自然语言理解和生成。它可与多种传感器和系统集成，以增强无人驾驶汽车的智能化水平。

DialogStudio: 最丰富及多样化的对话AI统一数据集，涵盖开放域对话、任务导向对话、自然语言理解、对话推荐、对话摘要和知识对话等数据。

由百川智能开发的一个开源可商用的大规模预训练语言模型，支持中英双语，基于Transformer结构，训练于约1.2万亿tokens，具有70亿参数，提供4096的上下文窗口长度，在标准的中文和英文权威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。

Converse是一个灵活的框架，旨在构建和部署任务导向的聊天机器人，支持多种对话管理策略，易于与现有应用程序和服务集成，同时提供自然语言理解功能，适用于复杂的对话场景，并支持多种语言和平台。

Rasa是一个开源的对话管理和自然语言理解（NLU）框架，专为构建聊天机器人和虚拟助手而设计。它允许开发者创建能够理解用户意图并进行自然语言交互的聊天机器人。Rasa支持自定义训练数据，能够针对特定领域进行优化，提供强大的对话流程管理，具备多轮对话能力，能够进行复杂的用户交互。作为开源框架，Rasa易于扩展和定制，适用于各种应用场景。

ChatFlex是一个基于ChatGPT的聊天机器人，作为WhatsApp Business上的助手，能够理解自然语言，提供快速准确的回复，并能根据用户的偏好进行学习，以便将来提供个性化的选项。

Hugging Chat旨在提供一个具有友好人性化个性的AI助手，能够理解并回答自然语言提问。用户只需访问网站，输入查询或消息即可与AI助手互动。

rasa_chatbot_cn是一个基于Rasa框架构建的中文对话系统，旨在提供自然语言理解和对话管理功能。它支持中文对话交互，适用于多种应用场景，如客服机器人、智能助手、教育领域的智能问答等。项目具有高度的可扩展性，便于添加新的意图和对话流程，并支持与外部API集成，以增强对话功能。此外，它提供了一个完整的示例，便于开发者学习和理解Rasa框架的使用，同时可以作为中文对话系统开发的基础。

Chat 是一款基于自然语言理解与机器学习的聊天机器人，支持多用户并发及自定义多轮对话。它能够高效处理复杂的对话场景，适用于多种应用开发需求。