这是一个Python模块,旨在修复损坏的JSON,特别适用于LLM输出的病态JSON文件。它能够自动检测和修复常见的JSON格式错误,并支持多种输入格式。
一个处理流式生成的JSON的库,能够从首个token开始解码,非常适合时间敏感的应用。
jc可以将常见的命令行工具、文件类型和常见字符串的输出转换为 JSON、YAML 或Dict。能将输出管道传输到 jq 等工具,并简化自动化脚本。
Aphrodite是PygmalionAI开发的大规模推理引擎,旨在高效处理各种AI模型的推理任务,支持多种模型格式并具备灵活的API设计,能够与其他机器学习框架无缝集成。