midGPT是一个基于Jax和Equinox的大型语言模型分布式预训练框架,能够在云TPU切片上高效训练数十亿参数的GPT风格解码器模型,旨在提升语言模型的训练效率和性能。
llm-chain是一个强大的Rust库,用于构建大语言模型中的链,能够高效地进行文本摘要和处理复杂任务。
为Google Cloud TPU优化的Transformers模型,提供高性能AI训练和推理接口,支持多种大规模语言模型。
WaveCoder是一个广泛且多才的项目,专注于增强指令调优和精炼数据生成,采用经过精心调优的代码语言模型和生成器-判别器框架,从开源代码中生成高质量、非重复的指令数据,显著提升大型语言模型在与代码相关任务中的表现和泛化能力。
LMQL是一种专门为大型语言模型(LLMs)设计的查询语言,结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能,以便于与LLMs的交互。
LLM-Dojo是一个开源大模型学习场,提供简洁易读的代码框架,支持多种主流模型的训练和强化学习技术,旨在帮助AI爱好者和研究者进行深入的研究和开发。
LaMini-LM是一个对多个迷你大语言模型进行微调的项目,旨在提升模型的性能,其中包括经过微调的GPT-2,其性能可与LLaMa的Alpaca-7B相媲美。
Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具,支持通过 WebGPU 加速。它支持多种大型语言模型,包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath,并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验,仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。
StackAI是一个综合平台,致力于为用户提供最新的AI技术。它提供了一系列精心挑选的AI工具,并定期更新新发布的AI。
WizardLM是一个基于Code Llama微调的模型,专注于代码生成和相关任务,支持多种编程语言的代码编写与理解,提供模型的测试地址和下载链接,经过简单测试表现良好。
本项目研究了大语言模型中的epoch次数设置问题,深入探讨训练epoch数量对模型性能的影响,以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。
Othello-GPT的工作令人信服地证明了大型语言模型能够构建复杂的世界模型,理解世界的结构和规则,超越简单的模式识别。