语言模型实验平台

MiniMax-01 是一个开源项目，包含基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。它支持超长上下文处理，适合AI Agent领域和各种需要处理大量信息的场景。该模型采用混合架构，结合Lightning Attention、Softmax Attention和专家混合（MoE），能在推理时处理长达400万token的上下文，并在多个学术基准测试中表现出色。此外，它还支持文本/图像/3D模型联合生成，实现在游戏资产创作场景中的风格一致性控制，生成速度比Stable Diffusion快3倍。

该项目旨在使用Rust语言在CPU上运行大型语言模型的推理。它不仅实现了快速的推理速度，还能在低能耗的情况下提供高效的性能。适用于本地推理和Rust项目集成，适合研究新语言模型应用。

哈佛大学出品的新论文，旨在提升LLM在TrucefulQA数据集上的正确率。该项目通过改进模型的输出和修正机制，使得大型语言模型在处理特定数据集时表现更佳。

ChatGLM-6B-API是基于清华大学开源的对话语言模型ChatGLM-6B和FastAPI构建的API，能够在本地部署并提供API接口，方便用户进行对话生成和自然语言处理。

SimCSE是一个简单的框架，旨在通过无监督和监督的方法进行句子嵌入的对比学习，从而实现高质量的句子表示。

MobileCPM是一个旨在帮助开发者将大型语言模型无缝集成到移动应用中的工具集，能够实现多种用例的本地模型能力，支持在移动设备上运行并提供多种功能，简化了开发者的集成过程。

开源语言模型集合：汇集了各种开源语言模型的资源，旨在推动自然语言处理技术的发展，强调模型的透明度和可访问性，方便研究人员和开发者使用

LangChain推出的标准化LLM代理API协议，提供了Runs(执行)、Threads(多轮对话)、Store(长期记忆)三大核心功能模块，实现了代理服务的框架无关部署标准。

基于Triton语言实现的Flash Attention, 采用OpenAI团队发布的Fused Attention代码，优化了注意力机制，适用于大规模数据处理，支持快速训练和推理，兼容多种深度学习框架。

该项目汇集了多个开源的中文预训练语言模型及其对应的指令数据集，旨在为中文自然语言处理提供丰富的资源。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

Aquila语言大模型在技术上继承了GPT-3、LLaMA等的架构设计优点，替换了一批更高效的底层算子实现、重新设计实现了中英双语的tokenizer，升级了BMTrain并行训练方法，在Aquila的训练过程中实现了比Magtron+DeepSpeed ZeRO-2将近８倍的训练效率。

AI Docs是一个平台，允许用户塑造和训练多个语言学习模型（LLM），以自动化各种任务。这些模型可以导出为API、Telegram机器人或WhatsApp机器人。用户可以使用提供的工具和资源创建和训练自己的LLM，指定所需功能并相应地训练模型。一旦训练完成，LLM可以被导出并集成到不同的应用程序或平台中。

H2O LLM Studio是一个用户友好的图形界面工具，允许用户轻松微调大型语言模型（LLM），无需编程技能。

一个Mamba的最小化实现。Mamba是CMU和普林斯顿的研究成功。这种SSM架构在语言建模上与Transformers不相上下，而且还能线性扩展，同时具有5倍的推理吞吐量。

Cargoship是一个开源平台，允许用户轻松将人工智能集成到他们的应用程序中。它提供了一系列用于各种AI任务的预训练模型，如图像识别、语言处理、文本生成和音频转录。用户只需从其开源集合中选择一个模型，该模型以Docker容器的形式打包，便于托管或通过个人端点和API密钥访问，无需具备机器学习知识即可将模型整合到软件中。

该框架将3D感知集成到预训练的2D扩散模型中，增强了得分蒸馏的鲁棒性和3D一致性，旨在解决2D扩散模型无法捕捉3D一致性的问题。

UniMoCap是一个社区实现，旨在统一文本-动作数据集（HumanML3D、KIT-ML和BABEL）以及全身动作数据集（Motion-X）。