Data Prep Kit 是一个开源项目,旨在为大型语言模型应用程序的开发者提供高效的数据准备和处理工具。该项目支持多种规模的数据处理,从个人电脑到数据中心级别,兼容代码和自然语言等多种数据模式,帮助用户简化数据准备流程。
用于构建复杂 LLM(大型语言模型)驱动的文档处理管道系统,通过简单的YAML配置即可实现复杂的数据处理流程,特别适合处理大量文档或非结构化数据集
Eagle Bot 是一个AI驱动的自动化平台,支持在Windows和MacOS上执行基于提示的自动化。用户可以通过安装软件并按照提示定制自动化流程,帮助自动化重复任务、简化工作流程,提高生产力。
Epochraft是一个数据加载器库,专注于即时标记化和检查点功能,特别用于流畅训练语言模型(LLM),旨在提高数据处理的效率和训练过程的灵活性。
为 Excel 提供使用大型语言模型(LLM)的扩展,允许用户在公式中调用 LLMs,如 ChatGPT,进行数据处理和分析
Even Flow旨在创建自组织Python函数的框架,允许程序员定义一系列具有清晰定义的输入和单一输出的函数,然后'Evenflow'会自动将这些函数组合成另一个flowable函数。
Yadget是一个数据生成工具,旨在帮助创作者生成合成数据,以测试和验证他们的数字产品,特别适用于机器学习和人工智能项目。
MagicFormat是一个全能工具,利用AI技术轻松生成、清洗、格式化和增强数据,满足用户需求。
Repopack是一款功能强大的工具,可将整个存储库打包成一个 AI 友好文件,适用于大型语言模型 (LLM) 和其他 AI 工具。