一个关于大语言模型(LLM)幻觉的研究项目,旨在探讨LLM的幻觉现象及其解决方案。项目致力于分析LLM幻觉的根本原因,提供多种解决方案,并建立评估体系以检测幻觉,融合领域知识以提升模型的可靠性。
一个关于语言大模型(LLM)产品构建的经验总结,涵盖战术、运营与战略的实践建议与见解。
基于电子纸显示的个性化天气报告生成器,将地点的天气信息转化为生动的插图,通过Raspberry Pi和Waveshare电子纸显示屏展示,支持自定义地点和使用Dall-E 3渲染技术
nGPT是NVIDIA开发的标准化Transformer模型,基于nanoGPT进行改进,旨在提升训练效率和处理能力。它通过在超球面上的表示学习和标准化过程,实现了对低精度运算的更好鲁棒性,并在不同的上下文长度设置中提供了显著的训练加速。
One-GLM是基于GLM架构的项目,移植到了使用OneFlow后端进行训练,能够大幅提升性能和显存利用率。
从自动微分开始完全从头开始GPT-2训练,一个快速且功能完备的深度学习库,使用Python和NumPy编写
用纯Pytorch原生实现的RWKV大语言模型的推理框架,提供高效的文本生成和推理功能,适合与PyTorch生态系统的其他工具集成,支持开源社区的贡献和协作。
mamba.c是一个用纯C语言实现的Mamba模型推断工具,能够在CPU上提供比PyTorch更快的推断速度,同时具有轻量级和易于集成的特点,适合在资源有限的环境中使用。
学习如何构建自己的NLP文本分类器,并将其作为API进行开放,方便用户进行文本分类任务。提供简单易用的接口,支持多种文本分类需求。
一个高性能的Stable Diffusion实现,利用C++和CUDA加速图像生成,旨在提供快速而高效的图像生成能力,支持多种分辨率和预训练模型,易于集成和使用。
Aurora是中文版MoE模型,具有强大的自然语言处理能力,基于Mixtral-8x7B的进一步工作,激活了该模型在中文开放域的聊天能力。
基于大规模生产工作流数据训练的智能网络Agent,可将开源大型语言模型微调为专门的网络Agent,帮助用户更高效地完成网络任务。它支持将大型语言模型微调以适应特定的网络任务,通过利用生产规模的工作流数据进行训练,显著提高用户在网络任务中的效率。ScribeAgent具有易于集成和扩展的架构,并欢迎社区的贡献。
TensorZero是一个开源基础设施,旨在支持生产级、可扩展和复杂的大型语言模型(LLM)系统。它集成了推理、可观测性、优化和实验功能,支持多步骤LLM系统,并通过ClickHouse数据仓库实现实时、可扩展且开发者友好的分析。
LLaMA Server结合了LLaMA C++的强大功能与美观的聊天界面,提供高效的自然语言处理解决方案,支持多种语言并易于扩展和自定义,具有实时响应能力。
这是一个基于Mojo编写的Llama 2实现,旨在显著提升推理速度,充分利用Mojo语言的优势,支持Llama 2模型,并采用优化的内存管理,便于在各种环境中使用。
清华大学构建的开源、大规模、高质量的指令调优数据项目,旨在帮助开发者构建具备通用工具使用能力的大型语言模型。
catgrad是一个基于范畴论的深度学习编译器,它不使用autograd进行训练,而是将模型的反向传播编译为静态代码。这意味着训练循环可以在不需要深度学习框架的情况下运行,甚至不需要catgrad本身。该项目支持多个编译目标,包括Python/numpy和C++/GGML等,从而提供更高的灵活性和性能。
groq-appgen 是一个基于 Groq 的开源项目,允许用户通过手绘 UI 生成应用界面,并通过语音交流进行优化,具备快速响应和分享功能。
Qwen2-VL微调工具:用于微调开源多模态大模型Qwen2-VL,支持单GPU和多GPU训练,提供简易上手的微调脚本和数据,旨在帮助开发者快速进行模型微调或再训练
lite_llama是一个轻量级推理框架,旨在优化大型语言模型的性能,提供高达3.4倍的推理加速,支持最新的模型和流式输出功能,基于Triton实现,适用于各种需要高效推理的应用场景。
Fabric 是一个开源框架,通过AI技术增强人类能力,支持多种AI应用,易于扩展和集成。
一个集合了大量优秀自定义节点的ComfyUI扩展库,旨在增强其功能、简化工作流程并激发创造力。该库提供了多种自定义节点,用户可以根据自己的需求灵活组合,提升工作效率和创造力。
Anime2SD是一个自动化的动漫截图管道,旨在帮助用户构建用于文本到图像模型训练的数据集,具有高效性和灵活性。它能够从动漫及其他来源自动生成和处理截图,极大地简化了数据准备的过程。
AI Toolkit是一个纯头文件的C++库,旨在为游戏中的非玩家角色(NPC)提供智能行为。它支持多种AI算法,具有良好的可扩展性,适合不同类型的游戏开发。该库设计轻量,能够有效减少性能开销,同时提供简单易用的API,方便开发者集成和使用。
这个项目真的很酷!它从头开始实现 Llama 3。自述文件中逐步解释了整个过程。
一个库,旨在实现自然核(热核、Matérn核)在黎曼流形或图等非欧几里得空间上的应用。
PromptFlow 是一个构建可执行流程图的工具,能够将大型语言模型、Python函数、提示和条件逻辑相互链接,帮助用户更有效地管理和执行复杂的编程流程,从而提升编程效率。
FATE-LLM是基于FederatedAI开发的联邦学习框架,支持大语言模型的分布式训练,旨在促进AI技术在保护知识产权和隐私的前提下的应用。该项目通过联邦学习架构,使得多方在不共享原始数据的情况下,能够协同训练出高效的AI模型,有效应对数据隐私和合规性挑战。
MCP-Bridge是一个中间件,提供与OpenAI兼容的接口,使开发者能够通过OpenAI API轻松调用MCP工具,无需额外的支持。
LLMPruner是一款专为大语言模型设计的裁剪工具,旨在优化模型性能并减少其参数量。它支持多种模型架构,并提供可视化工具,方便用户了解模型结构和裁剪效果,易于与现有机器学习工作流集成。