极低比特向量后训练量化

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。

小型模型的妙用：在大型语言模型时代，探索小型模型的独特角色和应用，包括数据筛选、推理增强和知识蒸馏等

gigaGPT是一个用于训练具有数百亿参数的大型语言模型的代码库，仅有500多行代码。它受到Andrej Karpathy的nanoGPT启发，但专为Cerebras硬件优化，能够扩展到GPT-3规模的模型。gigaGPT旨在提供一个干净、高效和可用的代码库，而不是追求训练最先进的模型。

MeZO是一个通过正向传递实现语言模型微调的工具，无需反向传播，极大地简化了训练过程，同时支持多种预训练语言模型，提升了训练效率和资源利用率。

Repopack是一款功能强大的工具，可将整个存储库打包成一个 AI 友好文件，适用于大型语言模型 (LLM) 和其他 AI 工具。

CompressGPT 是一个提示压缩器，可以为大多数基于 LangChain 工具的提示减少约70% 的Token，只需更改一行代码，帮助用户在文本生成和处理时大幅降低成本和提高效率。

LZAV是一种快速内存数据压缩算法，具有高压缩速度（460+MB/s）和高解压速度（2500+MB/s），其压缩比优于LZ4、Snappy和LZF，适用于需要高性能压缩的各种场景。

Chinchilla是DeepMind的研究项目，旨在将文本大语言模型（LLM）转变为通用压缩器API，适用于多种数据类型，包括文本、图像和音频。该项目通过巧妙的算术编码方案实现无损压缩，并能够与现有压缩技术如gzip、PNG、LZMA2等进行直接比较。Chinchilla不仅量化了学习与压缩之间的关系，还展示了如何通过预测模型与无损压缩器之间的相互转化来优化数据压缩和机器学习模型。

这个开源库提供了各种压缩算法，支持纯 Go 实现的高性能数据压缩和解压缩，适用于多种网络和数据处理场景。

一种通过因式分解的方法实现数据集蒸馏，旨在提高模型训练效率并减少数据集大小。