使用stable diffusion和pytorch复现的dreamfusion版本,旨在生成高质量的三维模型。
llama.cpp是一个开源的C++实现项目,专门用于运行Facebook的LLaMA语言模型。该项目无外部依赖,基于CPU运行,适合资源受限的环境。它支持跨多个设备的分布式推理,提供高性能的推理能力,并具备灵活的模型配置。llama.cpp还支持多种量化格式,极大降低模型运行所需的内存,并实现了高效的推理算法,能够在普通的CPU上提供快速的响应。
Llama 2 Everywhere (L2E) 是一个友好的llama2.c的分支,旨在使Llama 2 LLM架构能够在各种设备上兼容运行,从Chromebook到企业高密度单核部署。该项目提供了多种构建目标,利用不同的库和工具来提高性能和可移植性,确保用户能够在不同的环境中高效使用Llama 2。
专为XLA设备优化的LLM推理引擎,针对TPU和GPU进行了吞吐量和内存优化,支持JAX和PyTorch模型,提供完整的服务部署方案。特别适合在Cloud TPU VM上进行在线推理,可用于Gemma等大模型的高效部署。
Arcade AI是一个Python SDK和CLI工具包,专注于提升LLM应用和智能代理的能力。它提供多种预构建工具包,支持GitHub、Gmail、Slack等服务的集成,简化了开发者在构建AI应用时连接用户数据和服务的复杂性。此外,Arcade AI支持OpenAI、Anthropic等多种语言模型,并具备OAuth认证和自定义工具开发功能。
LMDeploy是一个开源的大模型部署工具,旨在将复杂模型高效地部署到生产环境中,特别适合急需将AI大模型推向市场的团队。它提供了一系列功能,包括模型量化、推理加速、动态调度、硬件适配和服务封装,帮助用户快速集成和扩展大模型能力。
Unsloth 是一个用于训练和推理大型语言模型(LLM)的工具,特别适用于使用 DeepSeek 的 GRPO 算法进行训练。它显著减少了 VRAM 的使用,使得在有限资源下训练 LLM 更加高效。Unsloth 支持多种主流架构优化,如 Llama3、Qwen 等,在消费级显卡上实现 2-5 倍训练速度提升,显存占用降低 70%。此外,Unsloth 还支持本地 QLoRA 微调,适用于多种自然语言处理任务,并提供了适合初学者的 Colab 环境,方便用户快速上手。
ReComA旨在通过Agent通信实现推理问题的简化开发,提供了一个灵活的框架,支持多Agent间的通信,易于集成到现有系统中。
Azure OpenAI服务代理,将OpenAI官方API请求转换为Azure OpenAI API请求,支持GPT-4,简化了与Azure OpenAI服务的集成,并提供统一的API接口,方便开发者使用Azure的强大能力。
LLMPapers是一个专注于大型语言模型(如ChatGPT、GPT-3、Codex等)的文献和研究论文资源平台,旨在为研究人员和开发者提供丰富的参考资料。该项目定期更新,涵盖最新的研究成果和技术进展,同时鼓励用户贡献新的文献资源。
ark-nlp是一个旨在收集和复现学术与工作中常用的自然语言处理模型的平台,支持多种NLP任务,并提供丰富的预训练模型,适合研究人员和开发者使用。
Banana-lyzer是一个开源的AI代理评估框架,专为Web任务而设计,支持多种场景和任务,提供性能评估指标,并允许与现有AI代理的轻松集成,便于不同代理之间的比较分析。
PraisonAI应用结合了AutoGen和CrewAI或类似框架,提供一种低代码解决方案,用于构建和管理多智能体LLM系统,重点关注简单性、定制化和高效的人机协作。
基于TensorRT实现的Streaming-LLM技术,旨在支持LLM模型进行无限输入长度的推理,提供高效、实时的AI服务。
NOS是一个功能强大、易于使用的推理服务框架,旨在帮助用户高性能地部署AI服务并研发定制化解决方案。它支持多种AI模型,具有良好的可扩展性,适合各种应用场景。
XAgent是一个开源实验性大型语言模型驱动的自主Agent,可以自动解决各种任务,旨在成为一种通用的工具,适用于多种复杂任务场景。它基于大型语言模型,提供智能决策支持,帮助用户提升工作效率,同时允许开发者进行自定义和扩展。
Qdrant向量搜索引擎示例和教程集合,提供了一系列使用Qdrant和相关技术的教程、演示和使用指南。
mistral-haystack集合 - Mistral与Haystack结合,旨在构建出色的检索增强生成(RAG)流水线,提供多种笔记本和资源,便于开发者实现高效的信息检索和生成任务。
‘英特尔创新大师杯’深度学习挑战赛赛道3专注于中文自然语言处理中的地址相关性任务,提供了一种基于深度学习的高效解决方案,包含模型训练、评估及开源实现,旨在促进社区的使用与贡献。
nlp-uncertainty-zoo是一个专注于自然语言处理中的不确定性量化方法的模型库,基于PyTorch实现,提供多种不确定性量化工具,支持多种NLP任务,具有良好的可扩展性。
Semantic Kernel 是一个轻量级的开源框架,通过 Semantic Kernel 您可以快速使用不同编程语言(C#/Python/Java)结合 LLMs(OpenAI、Azure OpenAI、Hugging Face 等模型)构建智能应用。
基于预训练语言模型的零样本和少样本NLP的教程,提供了一系列的示例和实用工具,用于帮助研究人员和工程师理解和应用这些技术。
LLM-zero2hero是一个高度解耦的微调项目,旨在支持大语言模型的自定义训练、验证和推理过程。它提供了全量微调和LoRA微调的能力,使用户能够灵活地调整模型以满足特定需求。
一个致力于生成训练、微调和推理的开源代码存储库,包含一系列下游任务,例如图像生成、传输、编辑。
Shortest是一个端到端的AI测试框架,利用Claude模型能力,通过自然语言编写可执行的单元测试,支持GitHub与2FA集成,提供安全认证方式。
Llama 2 模型的优化版本,包含一系列解码器层,使用不同的投影大小和架构变化以提高效率。
通过实现环境配置功能以及整合多项优化训练技术,使得用户能以简单高效的方式对语言模型进行训练优化,得到切实可行的产出
ToolBench是一个强大的工具,支持超过16000个真实世界的API,旨在帮助开发者轻松集成和使用API,提供丰富的文档和示例,并支持多种编程语言的调用。
FauxPilot是一个开源版本的GitHub Copilot,旨在通过人工智能技术帮助开发者高效地编写代码,支持多种编程语言,并与常用的代码编辑器无缝集成。用户还可以根据个人需求自定义代码风格和格式,以提高编程体验和效率。
Movenet.Pytorch是Google推出的MoveNet在Pytorch中的实现,包含训练代码和预训练模型,适用于人体关键点检测任务。