HZPROC是一个专为Torch设计的数据增强工具箱,支持仿射变换等多种数据增强技术。它易于集成到现有的Torch流程中,性能高效且优化,能够显著提升模型的泛化能力。
该项目研究如何检测、解释和减轻扩散模型中的记忆现象,旨在提升模型的泛化能力和性能。
提出了一种在输入问题类型未知的混合任务场景下的通用思想链(Meta-CoT)提示方法,旨在弥合性能和泛化之间的差距。
专注于训练和微调中等大小 GPT 模型的最简仓库,是 karpathy/nanoGPT 的一个分支,并提供了最大更新参数化(muP)的最小实现,旨在简化用户的使用体验和模型的优化过程。
ProbSem是一个利用大型语言模型(LLMs)为查询字符串分配上下文条件概率分布的框架,默认支持所有OpenAI引擎和HuggingFace CausalLM模型。
2000 Fine Tuning Prompts是一个全面的资源,旨在帮助爱好者学习和实验微调,熟悉其在不同上下文中的功能和应用。
BitNet是微软发布的1-bit LLM变体研究,支持在CPU上快速无损地推理1.58位模型。该项目通过将每个参数表示为三进制数 {-1, 0, 1},显著改善了时延、内存利用、吞吐量和能耗,能够在苹果M2等CPU上运行,适用于1.58位模型的无损推理。