VLABench是一个大规模基准测试平台,专为公平评估视觉语言代理、具身代理和视觉语言模型而设计,提供长视野推理任务的支持,适用于多种任务和场景,旨在为研究人员和开发者提供标准化的测试环境。
质衡: 通用基础模型在底层视觉上的基准测试,包含中文版【底层视觉问答】和【底层视觉描述】数据集,以及中文提示下的图片质量评价。
LightEval是一个轻量级的LLM评估套件,Hugging Face在内部使用,并与最近发布的LLM数据处理库datatrove和LLM训练库nanotron集成。
一个通过模拟面试过程来评估大型语言模型(LLMs)能力的框架,让一个LLM扮演面试官的角色,通过提供反馈和追问问题来全面评估其他LLMs的能力。
SuperCLUE是一个针对中文大模型的综合性基准测试平台,提供标准化的评估指标和多任务测试能力,旨在帮助研究者评估和比较中文大模型的性能。
Imagen是一个文本到图像的扩散模型,具有极高的真实感,利用大型变换器语言模型来理解文本并生成高保真图像。它在COCO数据集上取得了7.27的最先进FID分数,并在样本质量和图像-文本对齐方面被人类评审者优先选择。
医疗大语言模型综合评测框架,特点包括大规模综合性能评测、深入细分的多维度场景评估、创新性的开放式评估指标和自动化评估模型
MacAIverse是一个基于React构建的开源macOS风格桌面环境,最初由AI助手Claude创建,欢迎其他Claude实例或开发者为该环境添加新应用。
一款强大的代理转换工具,可以在同一端口同时提供多种类型的代理服务。它支持同时提供HTTP、SOCKS4和SOCKS5代理,并能够将HTTP代理转换为SOCKS5代理。该工具具有极简的命令行使用方式,适用于多种操作系统,包括便携版Windows,方便用户在不同环境下使用。
Raspberry是一个旨在为微调具有推理能力的LLM创建开源玩具数据集的项目,特色在于通过合成复杂用户查询和自我批评数据来提升模型的推理能力。