一个使用简单、原始的 C/CUDA 进行LLM培训的项目,旨在提供轻量级的实现,减少对大型库的依赖。
一个轻量级LLM应用开发框架,类似于Python requests库的简洁设计理念,提供了90%必需的LLM开发功能。
dstack是一个开源工具,可以在任何云环境中简化大型语言模型(LLM)的开发。它使开发者能够利用开放的LLM,降低云成本,避免对供应商的锁定。
Hegel AI Prompt Playground是一个供团队实验大型语言模型(LLM)和提示的工具,用户可以跟踪尝试过的历史记录并添加评估,帮助开发者更高效地迭代出适合其用例的工作提示和模型组合,附带SDK。
Meta Lingua 是一个轻量级、高效且易于修改的大型语言模型(LLM)研究代码库,专为研究者设计,支持模型训练和推理。其核心特点是使用易于修改的 PyTorch 组件,方便研究者尝试新的架构、损失函数和数据集。Meta Lingua 提供端到端的训练、推理和评估功能,模块化设计使其具有高度可重用性和灵活性,能够快速迭代和验证新概念。
miniLLMFlow是一个极简的LLM框架,仅用100行代码实现,旨在使大型语言模型能够进行自我编程。该框架提供了简洁易用的接口,并支持高效的模型训练和推理,适合研究和应用开发。
Superpowered AI 是一款端到端的知识检索解决方案,旨在简化构建生产就绪的 LLM 应用程序,同时提供对外部知识的访问。该平台提供知识库即服务,赋予用户强大的人工智能能力。
GPU Finder是一个网站,帮助客户发现来自全球公共云提供商的可用GPU实例。它提供了不同云提供商提供的各种GPU、GPU服务器和GPU计算平台的信息。
这是一本全面介绍Go应用程序性能分析、追踪和可观察性的指南,涵盖了多种工具和技术,提供实际示例和最佳实践,重点关注可观察性和监控解决方案。
Juice是一个软件项目,提供GPU-over-IP解决方案,使用户能够远程访问和共享可负担且易于获取的GPU资源。通过利用未使用的GPU容量(称为'Dark GPU'),Juice可以在不同的部署和提供商之间实现GPU的高效利用。用户只需在工作站或服务器上安装该软件,即可实现对GPU加速工作负载的直接远程访问。
crystalcoder-data-prep是为CrystalCoder 7B LLM准备训练数据的代码,涵盖数据下载、token化、序列拼接、FIM增强和数据混洗等多个步骤,旨在提高模型训练的效率和效果。
这是一个基于PyTorch的库,旨在加速在分布外(OOD)检测方面的研究,支持多种检测方法,并提供易用的API设计。该项目结合深度学习模型进行OOD任务,提供数据集和基准测试,且可与PyTorch深度学习框架无缝集成。