Triton优化

一个用于非因果建模的双向线性注意力实现项目，通过Triton优化模型性能，特别适合需要高效处理大量数据的AI应用

Stick-breaking Attention 是一种基于 Triton 的变长序列注意力机制实现，旨在通过优化计算方式提升在 GPU 上的性能，适合多种深度学习任务，易于与现有框架集成。

BiPE (Bilevel Positional Encoding) 旨在通过双层位置编码技术，提高模型在处理不同输入长度时的预测能力，尤其适用于序列建模任务。该项目通过增强位置编码的表达力，从而改善模型在长文本和变长输入上的性能。

Functime是一个用于大规模数据集时间序列机器学习的Python库，支持高效的数据处理和多种预测算法，帮助用户进行灵活的模型选择和评估。

为研究人员提供在HuggingFace数据集上微调Qwen 2视觉语言模型的脚本集合，支持通过Gradio网页界面和命令行进行模型训练，具有交互式训练和批量处理功能。

Low-Rank Adaptation of Large Language Models 是微软研究员引入的一项新技术，主要用于处理大模型微调的问题，能够降低微调过程中的计算开销和内存需求。通过冻结预训练模型的权重并在每个 Transformer 块中注入可训练层，LoRA 实现了在减少训练参数数量的同时，保持微调质量与全模型微调相当，并显著提高微调速度。

本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。

基于 Rust 和 ffmpeg 的视频解码库，旨在快速解码视频，特别适用于机器学习场景，在机器学习领域处理视频数据时，能高效地加载视频片段，避免了不必要的全视频解码，大大节省时间和资源

Intel Extension for Transformers 是一个开源项目，旨在使客户端 CPU 上的大型语言模型（LLM）微调成为可能，特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调，适用于笔记本电脑环境，并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容，支持 4 位推理，并利用 Intel 神经压缩器提供丰富的模型压缩技术，如量化、剪枝和蒸馏，显著提高了英特尔平台上的推理效率。此外，它还支持自动化的仅限权重的 INT4 量化流程，兼容多个流行的大语言模型，如 Llama2、Llama 和 GPT-NeoX。

TensorLeap是一个专注于深度学习模型调试和可解释性的工具，旨在提高神经网络开发的透明度和效率，帮助数据科学家和组织加速开发周期，确保模型的可靠性。

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。

pmdarima是一个统计库，旨在填补Python在时间序列分析中的空白，提供与R的auto.arima函数等效的功能。

一种通过基于目标的预训练方法来提高强化学习中的样本效率。