JAX实现

Griffin-Jax是基于Google DeepMind论文的JAX实现项目，专注于通过门控线性注意力(GLA)内核和混合门控线性递归技术，为长序列处理提供高效解决方案。该项目结合了门控线性递归与局部注意力机制，显著提升了语言模型在训练和推理阶段的效率，尤其擅长处理超长上下文序列。

该项目通过改进Transformer世界模型（TWM），显著提高了数据效率，特别是在复杂开放世界环境中的表现。研究首次在Craftax-classic基准测试中超越人类专家水平，奖励达到67.4%。该方法结合了Dyna与预热、图像块最近邻分词器（NNT）和块教师强制（BTF）等技术，不仅提高了奖励，还大幅减少了训练时间。

基于Jax实现的等变图神经网络库，为复杂结构数据建模提供强大的工具。

JFLUX是Black Forest Labs的Flux.1系列模型的JAX实现，支持FLUX.1的多个变体，并鼓励社区参与进一步的性能优化和功能增强。

T5X Retrieval是Google Research开发的一个JAX实现的T5（文本到文本转换变换器），针对检索应用进行了优化。

llama-jax是LLaMA的JAX实现，旨在利用Google Cloud TPU进行训练，提供高效、灵活的模型训练解决方案。

Lorax 是一个基于 JAX 实现的低秩适应（LoRA）工具，旨在帮助研究人员和开发者高效微调大型语言模型。它利用低秩矩阵的方式，减少了微调过程中需要调整的参数数量，提升了计算效率，同时保持了模型性能。Lorax 易于集成，适合快速实验与原型开发，特别是在处理大型预训练模型时表现出色。

Platypus是一系列经过微调和合并的，在Open LLM排行榜上名列前茅的 LLM 改进方案。通过结合PEFT和LoRA等方法，通过高质量数据集实现强大的性能。

用JAX/Flax训练的SmolLM风格语言模型，能在有限的计算资源下高效预训练，快速达到较高性能。该项目专注于利用现代深度学习框架JAX和Flax，提供灵活的训练选项，并优化资源使用，使其适合在计算资源受限的环境中进行实验和开发。

RectifiedFlow是一个简单统一的PyTorch代码库，专注于扩散和流模型，提供易于使用的平台用于训练和推理，强调简洁性、灵活性和快速原型设计。

humanscript是一种采用LLM推断解释器的脚本语言，能够将自然语言写的命令翻译成可执行的代码，支持与云托管的语言模型（如OpenAI的GPT-3.5和GPT-4）或本地运行的开源语言模型（如Llama 2）一起使用，适合用于各种自动化任务。

GPTder是一个让用户发现和使用更多GPT插件的平台。用户只需创建账户，浏览可用的GPT插件，选择想要使用的插件，并轻松将其集成到现有项目中。

Digit Plexus 是一个机器人硬件平台，旨在将传感器和末端效应器集成到一个共同的平台上，为在任何机器人手中集成触觉传感器提供标准化的硬件和软件解决方案。

是参数高效的语言模型微调中最受欢迎的方法之一。该项目探讨了以参数高效的方式进行语言模型的预训练，并引入了一种名为ReLoRA的方法，利用低秩更新来训练高秩网络。

《对齐手册》主题是如何使用不同技术来微调语言模型，以使其更符合人类和AI的偏好。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

Lore是一个本地的Mac IDE，专为提示工程和时间旅行而设计。它提供版本控制、全文搜索、多模型支持、组合运行、变体、模型成本感知功能、API集成、令牌统计、自定义端点、本地模型、表格、语法高亮、LaTeX支持、笔记导出、快捷键、Vim模式以及沙盒环境。Lore使用Cocoa、SwiftUI和SQLite构建，旨在提升用户在提示工程中的效率和体验。