Product-Key Lookup（PKL）是记忆层技术中的核心算法，由Facebook AI Research在2019年提出。 它采用分而治之策略，通过两阶段查找机制显著提升效率：第一阶段将查询键分割为两个子查询与半键集合比较， 第二阶段合并结果确定最终top-k键。该算法支持10亿级参数，优化内存和带宽使用，特别适用于大规模语言建模、 知识图谱查询和长文本语义检索等复杂任务，可无缝集成到Transformer等神经网络架构中。
保持网络提出了一种新的语言大模型架构，相对于输入序列长度具有线性复杂度，支持并行和循环计算，能够在不增加内存成本的情况下扩展上下文长度，适合进行大规模语言建模和高效推断。最大模型参数可达到67亿个。
Grid.ai是一个专注于机器学习的平台，旨在使最先进的AI研究民主化，而不是关注基础设施。用户可以通过注册网站并参考提供的文档和教程来使用Grid.ai。
LiteRT是Google AI Edge团队推出的高性能、可信赖的边缘AI运行时，旨在继承TensorFlow Lite的优势，并拓展其愿景，支持多种AI框架并优化资源利用率，方便集成和部署。
最新的开源自然语言-SQL查询生成大语言模型，性能优于 OpenAI 的 gpt-3.5-turbo，显著优于 Postgres 中通用 SQL 模式的所有主要开源模型。
来自清华团队开源的一个 AI 项目，通过强化学习技术训练出一个 7B 模型，在数学推理能力上超越 GPT-4o 以及 Llama-3.1 70B。
