Scalable-Softmax (SSMax)论文 – 改进Transformer注意力的可扩展函数

Griffin-Jax是基于Google DeepMind论文的JAX实现项目，专注于通过门控线性注意力(GLA)内核和混合门控线性递归技术，为长序列处理提供高效解决方案。该项目结合了门控线性递归与局部注意力机制，显著提升了语言模型在训练和推理阶段的效率，尤其擅长处理超长上下文序列。

Kvax是为JAX框架打造的高效FlashAttention实现，专为长序列和分布式训练优化。它通过支持高效文档掩码计算、实现上下文并行化以及优化长序列处理性能，显著提升了训练效率和内存利用率。

t5-experiments是一个专注于T5模型实验的项目，特别是探索Transformer模型的扩展技术和内存效率。该项目旨在处理极长序列（高达2,048,000个token），并采用RMT（Recurrent Memory Transformer）方法增强内存保留能力。尽管处理大量token序列，项目仍保持紧凑的内存大小（3.6GB），并支持高效推理，最多可处理4096个内存段。项目突破了以往Transformer模型的限制（如CoLT5的64K token和GPT-4的32K token）。

JobJette 是一款利用人工智能技术帮助用户提升求职效率的工具，能够轻松创建兼容 ATS 的 PDF 简历和求职信，与 AI 聊天进行模拟面试，并无缝自动填写和跟踪求职申请。

micrograd是一个实现反向传播的自动梯度引擎，作为训练神经网络的核心代码，以其简洁和高效著称。它支持基本的神经网络操作和梯度下降，轻量级且易于集成到机器学习项目中。

timeOS是一个AI驱动的新标签页，旨在帮助用户为下一次会议做好准备。它提供来自Gmail的相关信息、过去的会议记录和LinkedIn的背景资料。此外，它还提供自动化会议记录、AI调度、主动洞察、行动项跟踪、无缝的AI任务委派，并与Zoom、Google Meet和Microsoft Teams兼容。

这个开源项目是一个多智能体系统，用于基于人工智能的软件开发。它的主要功能是将自然语言需求转化为可以工作的软件。该项目支持任何开发语言，并且可以扩展现有的基础代码。

Formula Generator 是一个由 AI 驱动的工具包，旨在简化创建和理解复杂 Excel 公式和自动化的过程。它利用微调的 GPT 模型，帮助用户生成 Excel 公式、VBA 自动化、SQL 查询等，同时提供公式调试、解释和错误检测功能。用户可以通过输入文本指令轻松生成所需的公式，也可以在 Google Sheets 中使用该工具。

腾讯混元是腾讯开发的大型AI项目，涵盖大型语言模型和AI助手应用。项目旨在提供先进的AI能力，支持自然语言处理、逻辑推理和任务执行。大型语言模型“混元”具有强大的中文语言处理能力，驱动多个AI应用，适用于内容创建、客户服务等广泛任务。AI助手“Yuanbao”是面向消费者的产品，支持AI问答、知识获取、数学问题解决、翻译、旅游攻略和工作建议等功能，可在网页端和小程序端使用。

Promptology是一本指南，旨在帮助用户理解和利用AI工具和大语言模型（LLMs）来提升商业效率与运营。随着AI工具在过去六个月内吸引了数百万用户，本项目提供了关于如何通过掌握这些工具的知识来实现盈利的深入见解。

Resumes Ranked是一个AI工具，专为招聘人员和雇主设计，可以高效地分析和总结多个简历。用户只需上传职位描述和申请者的简历，即可快速获得总结和评分，帮助他们从数百份简历中迅速识别出最佳候选人。

ChillArcade是一个在线平台，提供多种AI生成的网页游戏，用户无需下载即可即时游玩。平台涵盖多种游戏类型，如射击、模拟、街机、赛车和策略等，用户可以浏览并玩精选和热门游戏。此外，用户还可以通过仪表板添加和管理自己的游戏。

AICheatCheck是一款免费的网络应用程序，供教育工作者等人使用，检查使用AI文本并确保内容的原创性。这对于教授、老师和大学来验证学生作品的真实性和检测AI的存在非常完美。该工具在其白皮书中拥有99.7%的准确率。该模型的训练是通过ChatGPT、GPT-3和人工编写的文本组合完成的。在广泛的领域和教育水平的大量范例中，该模型在大约50,000个人工编写的文本和GPT生成的文本之间进行了训练。

Spirit LM是由Meta开源的多模式语言模型，能够混合语音和文本生成更逼真、拟人化的语音效果。该模型基于大语言模型，通过词级交错方法扩展到语音模式，使用子词BPE标记进行文本编码，并采用HuBERT模型作为语音编码器。模型在训练过程中连接语音和文本序列为单一标记集，利用自动策划的语音-文本平行语料库，同时学习语音和文本特征。模型还使用特殊标记区分文本和语音，并在训练中随机触发模态变化，使得语音和文本标记在模态变化边界处交错。Spirit LM有两个版本：基础版和表现力版，分别专注于语音语义单元和表达性语音合成。

AI 代码工具 Bolt.new 是一个开源项目，旨在帮助开发者更高效地编写代码，支持多种编程语言，提供智能代码补全和实时预览等功能，用户界面友好，方便开发者使用。