剪枝

torchtune是一个用于训练、微调和实验大型语言模型（LLM）的PyTorch库。它利用最新的PyTorch API实现内存效率和性能优化，并支持YAML配置以简化训练和评估流程。torchtune适用于微调LLM以用于文本生成、问答和对话生成等任务，并支持量化、剪枝等后训练技术，以针对特定用例优化模型。此外，torchtune与Hugging Face Transformers、torchao和EleutherAI的LM Eval Harness等工具集成，提供了丰富的功能和灵活性。

Intel研究院开源的AI模型优化工具，支持将千亿参数大模型压缩至1/20体积，在Intel第四代至强处理器上实现3.8倍推理加速，量化精度损失＜0.5%。该工具提供统一API，支持主流深度学习框架（如TensorFlow、PyTorch、ONNX Runtime和MXNet）上的模型压缩技术，包括量化、剪枝、蒸馏和神经架构搜索。