基于Andrej Karpathy的GPT-2实现和训练,添加大量注释以帮助理解模型原理,计划逐步增加更多功能。
Traditional-Chinese Alpaca是一个基于Alpaca的指令跟随模型,专为繁体中文用户设计,适用于多种自然语言处理任务,能够有效地进行文本生成和对话系统应用。
Jlama是一个纯Java实现的大规模语言模型推理引擎,支持多种模型格式,能够提供高性能和低内存占用,易于集成到各种应用中。
Orca是一个基于GPT-4复杂解释轨迹的渐进式学习模型,旨在推动自然语言理解与生成的前沿。它设计高效且智能的最先进语言模型,能够与OpenAI的GPT-4和PALM相媲美。
用于与Copilot(之前叫Bing Chat)进行交互的Python客户端,支持连接到Copilot、进行对话、提问问题、附加图片和网页内容等功能,以及支持异步操作和流式响应等特点
ThinkGPT是一种基于LLM的自主智能体,旨在增强大型语言模型的能力,支持多种任务,并提供灵活的架构设计和强大的可扩展性。
百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。
Hunyuan-Large是腾讯推出的大型MoE(Mixture of Experts)模型,拥有3890亿参数和520亿激活参数,是业界目前最大的开源Transformer基础MoE模型,专注于自然语言处理和长文本理解。
Anima是第一个开源的基于QLoRA的33B中文大语言模型,旨在支持大规模中文处理,促进社区参与与贡献,具备高效的模型训练与推理能力。
一款专注于上下文理解和检索增强生成的6B大模型,旨在提升机器在理解和生成文本方面的应用能力。该模型通过先进的算法和丰富的训练数据,能够在各种自然语言处理任务中表现出色,尤其在对话系统和信息检索等领域,提供更为精准和相关的结果。
由vivo AI全球研究院自主研发的大规模预训练语言模型,具有更大量的优质数据、更优的效果及长文本支持。
InternLM 是一个高效的语言模型开源平台,旨在为开发者提供构建高性能模型的便捷工具,支持从研究到应用的完整生命周期。最新版本书生·浦语2.0(InternLM2)经过2.6万亿token高质量语料训练,包含7B及20B两种参数规格,支持超长上下文和优秀的数学推理能力。
Qwen是阿里通义千问开源的多语言处理框架,支持多种自然语言处理任务,提供高效的模型推理和友好的用户接口。它兼容多种开发环境,旨在为开发者提供高效构建语言模型的工具,支持广泛的语言覆盖与任务适配,帮助解决全球化场景下的文本处理需求。最新的720亿参数版Qwen-72B和Qwen-72B-Chat在多个任务上超越LLaMA2-70B和GPT系列模型。
这是复旦大学王一老师开源的一个高效GPT实现,经过2.5年的努力,旨在单个GPU上成熟且高度优化。
Nanbeige-16B(南北阁-16B)是南北阁大模型实验室研发的160亿参数规模的大语言模型,采用了2.5T Tokens进行预训练,数据包含大量互联网高质量语料、各类书籍、代码等领域脱敏文本,在各个权威测评数据集上都取得了不错的效果。本次发布包含有 Base、Chat 以及扩展上下文长度的 Base-32k、Chat-32k 版本。
NLP-Knowledge-Graph项目致力于将自然语言处理、知识图谱和对话系统三大技术进行深度研究与应用。该项目不仅支持构建和优化对话系统,还提供多种数据处理与分析工具,具备强大的可扩展性,允许用户自定义模块,并支持多语言处理,满足不同领域的需求。
ChatGLM2-6B 全参数微调,支持多轮对话的高效微调,旨在提升对话系统的性能和用户体验。该项目通过对预训练模型的全面微调,使其能够适应特定任务和领域,提高了模型的灵活性和适用性。
ERNIE是百度开发的自然语言处理框架,旨在通过持续学习和预训练技术提升语言理解与生成能力。它支持多种自然语言处理任务,包括文本分类、问答系统、文本生成等,并在多种任务中实现了最先进的性能。ERNIE基于Transformer架构,具备高效的模型优化和训练策略,支持多语言处理,适用于中文及其他语言的自然语言处理任务。
该项目是Azure OpenAI服务的示例代码库,旨在补充OpenAI的食谱,展示如何使用Azure OpenAI服务,涵盖多种使用场景,如文本生成和对话系统,提供易于理解的文档和示例,支持多种编程语言和框架。
Yi是一个专为高效语言模型设计的开源框架,支持从零开始训练的大型语言模型。它包含两款双语模型Yi-6B及Yi-34B,均自研训练,参数规模分别为6B和34B。Yi通过优化算法与资源管理,提供从实验到部署的完整流程,支持多种语言的文本生成、对话系统和问答任务。
OpenICL是一个开源的框架,旨在支持上下文学习,提供多种算法和灵活的接口,便于集成到现有的自然语言处理模型中。
知识图谱检索增强生成框架,将知识图谱(KG)的显式知识与大型语言模型(LLM)的隐式知识结合起来。KG-RAG在生物医学数据集上显著提升了模型的性能,尤其是对Llama2和GPT模型的增强效果达71%。
AAGPT是一个实验性开源应用,展示了大型语言模型(如GPT-3.5和GPT-4)的能力,适合研究和学习使用。它支持多种自然语言处理任务,便于社区的贡献与合作。
H2O.ai的开源大语言模型GPT项目,旨在创建世界上最好的开源GPT模型,提供强大的自然语言处理能力,支持多种任务,适用于大规模应用。
StableLM是Stability AI最新开源的大语言模型,目前开放的是3B和7B的版本,后续会开放更大规模的模型,适合商用。
Continual是现代数据栈的领先操作性AI平台,能够构建不断改进的预测模型,无需复杂的工程。它为产品和工程团队提供了在SaaS应用中构建对话体验和AI自动化的能力,能够连接私有数据和API,并允许在几分钟内轻松部署。
LLaMA是Facebook研究开发的一款先进语言模型,旨在处理多种自然语言处理任务,声称在性能上优于GPT-3。它具备高质量文本生成能力,支持多种规模以满足不同的部署需求,同时采用高效的训练技术,能够先进地处理上下文信息。