FewCLUE是一个专为中文自然语言处理设计的小样本学习测评基准,提供多种评测任务,支持各种模型和算法的评估,易于扩展和定制,旨在推动中文NLP研究的发展。
吴恩达的课程,旨在引导学员完成LLM预训练流程,包括数据准备、模型架构配置、训练和评估。学员将学习如何使用HuggingFace获取训练数据,配置Transformer网络,运行训练并进行性能评估,同时探讨深度升级技术以降低计算成本。
BitNet是微软发布的1-bit LLM变体研究,支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1},显著改善了时延、内存利用、吞吐量和能耗,能够在苹果M2等CPU上运行,适用于1.58位模型的无损推理。
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练和融合、量化。
MisguidedAttention是一个集合,旨在利用误导信息挑战大型语言模型的推理能力,主要通过修改经典思维实验和谜题来检验模型的鲁棒性。
提供一种 Pythonic 方式在 LLM 管线上运行离线评估,以便轻松投入生产
只依赖pytorch、transformers、numpy、tensorboardX,专注于文本分类、序列标注的极简自然语言处理工具包
SciPhi旨在支持大型语言模型(LLMs)的训练和评估,提供了数据生成和模型输出评估两个关键功能,帮助用户高效地生成合成数据,并对模型的性能进行稳健的评估。
MAP-NEO/document-convert是一个高效的转换管道,能够将PDF或扫描图像转换为类似Markdown格式,保留文档结构和格式,适用于多模态艺术投影项目。
斯坦福开发的一种遵循指令的 LLaMA 模型,基于 Meta 的 LLaMA 7B 模型进行微调,性能接近 OpenAI 的 text-davinci-003,支持在单个 GPU 或 CPU 上运行。
ACT-Bench是一个用于评估自动驾驶世界模型行动可控性的框架,帮助研究者量化模型在特定轨迹下生成驾驶场景的能力。