广义Kullback-Leibler（GKL）散度损失论文 – 优化KL散度的机器学习损失函数

该项目是Kullback-Leibler（KL）散度的扩展版本，通过数学证明将其解耦为加权均方误差损失和带软标签的交叉熵损失。
主要解决了传统KL损失在知识蒸馏中的不对称优化问题，引入类别全局信息减少样本偏差，显著提升了模型训练的稳定性和对抗鲁棒性。
在RobustBench排行榜上达到最先进水平，并在CIFAR-10/100、ImageNet等数据集的知识蒸馏任务中表现优异。

广义Kullback-Leibler（GKL）散度损失的特点:

1. 打破KL损失的不对称优化特性
2. 采用平滑权重函数缓解高预测得分类别的收敛问题
3. 在RobustBench上实现SOTA对抗鲁棒性
4. 提升跨模态知识蒸馏性能（如CLIP模型）
5. 支持CIFAR/ImageNet/视觉语言多类数据集

广义Kullback-Leibler（GKL）散度损失的功能:

1. 对抗训练中增强模型鲁棒性
2. 教师模型到学生模型的知识蒸馏
3. 视觉语言模型的零样本分类优化
4. 医疗/金融等高安全性场景的模型训练
5. 跨模态学习任务中的损失函数改进

相关导航

Toward Universal Text-to-Music Retrieval – 基于扩散模型的因果发现

该项目研究利用扩散模型发现复杂数据集中的因果关系，通过拓扑排序改进推理，支持基于因果洞察的决策过程。

Video-LLaVA开源项目 – 多模态图像视频识别项目

北京大学的多模态图像视频识别项目，旨在将视觉信息融入语言特征空间，以推动大型视觉-语言模型的发展。

Class Re-Activation Maps for Weakly-Supervised Semantic Segmentation – “Facilitating animation and film production”-从声音生成3D面部模型

该系统通过声音输入生成跨模态的3D面部模型，支持多种语音输入。

Camel开源项目 – AutoGPT

Camel-AutoGPT是一个开源项目，它是AutoGPT的变种。该项目的功能是在设定目标后，可以命名AI角色，让这些AI角色针对你的目标聊天对话，给你提示和启发。该项目旨在帮助用户实现他们的目标，并提供有用的建议和指导。用户可以与这些AI角色进行交互，获得有关如何实现目标的深入见解和建议。

Samwell.Ai官网 – 用AI简化学术写作

Samwell.Ai通过先进的AI技术，彻底改变学术写作，简化研究、写作和引用过程，帮助学生和专业人士提高生产力和准确性。

Streamlined AI Stock Analyst官网 – 现代投资研究工具

Streamlined AI Stock Analyst 是一个帮助投资者以现代方式进行投资研究的平台。它提供了对股票的深入分析和比较，帮助用户找到最佳投资机会，分析和比较基本面，从而增强投资信心。

Constitución.ai官网 – 简化智利新宪法内容的互动平台

Constitución.ai是一个对话式人工智能，旨在简化和增强公众与智利新宪法提案内容的互动。该平台利用GPT技术将复杂的法律文件拆解，使其对每个人都易于理解和获取。

Intel Extension for Transformers

Intel Extension for Transformers 是一个开源项目，旨在使客户端 CPU 上的大型语言模型（LLM）微调成为可能，特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调，适用于笔记本电脑环境，并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容，支持 4 位推理，并利用 Intel 神经压缩器提供丰富的模型压缩技术，如量化、剪枝和蒸馏，显著提高了英特尔平台上的推理效率。此外，它还支持自动化的仅限权重的 INT4 量化流程，兼容多个流行的大语言模型，如 Llama2、Llama 和 GPT-NeoX。

LLaMA-Mesh开源项目 – 用大模型生成3D网格的项目

LLaMA-Mesh是一个利用大规模机器学习模型生成高质量3D网格的项目，支持多种3D模型格式并提供易于使用的API，能够与现有的3D渲染工具兼容，方便用户生成和导出所需的3D模型。