flash-attention是一个基于FlashAttention优化的Transformer实现,其训练速度在GPT2和GPT3上比Huggingface的实现快3-5倍,显著提升了训练效率,同时优化了内存使用,并支持多种硬件加速。
LMQL是一种专门为大型语言模型(LLMs)设计的查询语言,结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能,以便于与LLMs的交互。
FreeAiKit是由Prgmine提供的一套AI工具,旨在帮助用户完成各种与AI相关的任务,且免费提供。用户可以通过访问网站浏览工具,每个工具都有详细的描述和使用说明,用户可根据指南选择所需工具并应用于AI项目。
LLamaFlow是一个基于TypeScript的工具包,旨在与基于聊天的大型语言模型(LLM)进行高效交互。它在标准聊天完成API的基础上增加了结构化支持,并提供类型安全性验证、自定义内容验证hook,以及改进的发送和接收聊天消息API。同时,LLamaFlow还具备文本分割功能,以便有效处理Token限制,确保与模型的交互更加流畅和准确。
这个开源项目是一个生成式AI模型优化赛的参赛方案,获得了天池NVIDIA TensorRT Hackathon 2023初赛的第三名。该项目的功能涉及到开源、机器学习等领域。
Planetarium是一个用于评估大型语言模型将自然语言描述的规划问题转换为PDDL的基准测试工具,具备图同构的比较方法,旨在帮助研究人员分析和提升模型的性能。
一款免费开源工具,旨在帮助用户快速验证大语言模型生成内容的准确性,类似于为事实准确性而生的Grammarly。该工具提供实时内容检查,支持多种语言,且界面友好,易于使用。
大语言模型蒸馏的自动化管道,支持单教师和多教师模型的蒸馏,适用于指令和完成文本的蒸馏,支持离线蒸馏和跨平台操作,具备丰富的自定义选项
该项目旨在实现稀疏和稳健的预训练语言模型,以提高语言理解的能力和效率。
这是一个包含多个基于PyTorch的深度学习应用的库,旨在为圣路易斯华盛顿大学课程提供教育资源和实例,帮助理解深度学习概念。
展示如何使用 TensorFlow 生态系统从 Transformers 构建视觉模型的机器学习管道,支持完整的 MLOps 流程,集成模型管理和监控功能。
katakomba是一个专为NetHack游戏设计的数据驱动的基准测试工具,提供超过30个标准化数据集,并支持多种基于循环的离线强化学习基线模型,旨在促进研究和开发中的基准测试。
一个包含多个样本的基准测试项目,用于大语言模型的测试和评估,旨在帮助研究者和开发者了解模型的性能表现。该项目提供多种语言的测试样本,支持自定义测试用例,易于与现有AI项目集成,方便进行系统性评估。
该项目是一个专注于大型语言模型(LLM)终身学习的资源库,收集了相关的精华综述、研究资源和论文,旨在促进LLM的持续学习能力和性能提升。
关于算法代码生成的数据集,具有更大规模、更高质量和更精细标签的特点,旨在提供一个更具挑战性的训练数据集和评估基准,用于代码生成模型领域
Repopack是一款功能强大的工具,可将整个存储库打包成一个 AI 友好文件,适用于大型语言模型 (LLM) 和其他 AI 工具。
FlashAttention-2是备受欢迎的算法的升级版,是一种优化的多头自注意力实现,可以同时节约内存和运行时间(与PyTorch基准相比,速度提升了2-4倍)。
Financial Datasets 是一个开源的 Python 库,旨在利用大语言模型(LLM)生成合成的金融和财务数据集,方便用户进行数据分析和机器学习模型训练。该库支持多种数据格式输出,并且易于与现有的数据分析工具集成。