AI交流(进群备注:LLMSurvey)

LLMSurvey是一个提供LLaMA模型族进化图的项目,用户可以通过该工具查看不同版本模型的性能,比较多种模型参数,并获取相关的训练和评估数据。
LLMSurvey的特点:
1. 提供LLaMA模型族的视觉化进化图
2. 支持多种模型参数的比较
3. 允许用户查看不同版本模型的性能
4. 包含模型训练和评估的相关数据
LLMSurvey的功能:
1. 访问项目页面获取LLaMA模型的最新进展
2. 使用可视化工具比较不同模型的效果
3. 下载模型及其相关数据进行本地实验
相关导航

LLaMA-Factory开源项目 – 高效微调大语言模型的工具
LLaMA-Factory 是一个易于使用的 WebUI 框架,旨在高效微调 100 多种大语言模型(LLM)。它支持多种模型和训练方法,包括 LLaMA、Mistral、Qwen 等,并集成了多种微调方法如 LoRA、QLoRA、PPO、DPO 等。LLaMA-Factory 提供了高级算法如 GaLore、BAdam、DoRA、LongLoRA 等,以及实用技巧如 flashattention、RoPE 缩放等,以优化微调效果。此外,它还支持实验管理工具如 LlamaBoard、TensorBoard、Wandb,以及高效的推理接口如 Gradio UI 和 OpenAI 风格的 API。
暂无评论...