ml-calibration是一个用于测量校准和绘制可靠性图表的工具包,提供了可视化方法来评估模型的校准程度,并生成可靠性图表以帮助分析模型的可靠性。该工具包支持多种校准方法的比较,易于集成到现有的机器学习工作流中。
Xtreme1 是一个为多感官训练数据生成和处理而设计的平台,提供高效的数据标注和管理工具,支持深度学习模型的训练和评估,并且易于集成到现有的工作流程中。用户可以通过友好的界面和丰富的文档快速上手。
Giskard是一个开源测试框架,专为生成式AI和机器学习模型设计。它集成了130多种评估指标,支持自动化检测生成内容的事实性、安全性及合规性。Giskard可以处理从表格模型到大型语言模型(LLM)的所有内容,并提供企业级测试中心,支持自托管和云部署。它还与Hugging Face、MLFlow、Weights & Biases等平台无缝集成,帮助团队更快、更好地交付机器学习产品。
用于LLM360评估和分析的代码库,包含了多种评估指标和分析方法,旨在帮助用户全面理解和优化模型表现。
一个基于FastAPI的Llama2嵌入服务,旨在提供高效的文本嵌入功能。该服务通过RESTful API接口,支持多种输入格式,能够快速生成文本嵌入,方便用户集成到现有的应用程序或机器学习管道中。
AnglE是最新的文本嵌入模型,旨在优化文本嵌入,作为新一代的语义文本相似度方法,取得了新的最先进(SOTA)结果。它提供了预训练模型,包括语言模型(LLM)和数据集。
FastML是一个终极的MLOps基础框架,旨在加速机器学习项目的开发与部署。它提供了全面的数据处理、预处理、建模和部署脚本,为用户从创意到生产的旅程提供了简化的解决方案。
dvc.ai 是一套用于机器学习数据管理、实验追踪和管道自动化的工具,旨在提升机器学习项目的效率和可重复性。它允许用户对数据和实验进行版本控制,自动化计算资源的管理,并跟踪和管理机器学习实验的过程。
Inspect是一个用于评估大型语言模型性能的框架,提供多种评估指标与方法,支持不同类型的模型,易于与现有机器学习工作流集成,同时支持可视化和结果分析。
提供一种 Pythonic 方式在 LLM 管线上运行离线评估,以便轻松投入生产
sktime 是 Python 中用于时间序列分析的库。它为多个时间序列学习任务提供了一个统一的界面,包括时间序列分类、回归、聚类、注释和预测。
《解构大语言模型:从线性回归到通用人工智能》配套代码,提供了大语言模型的实现与分析,展示了线性回归与语言模型之间的关系,并支持多种数据集与训练配置,易于扩展与自定义。
RepublicLabs.ai 是最新的生成型AI网络服务,允许用户使用单个提示同时生成图像和视频,支持多个模型的比较与选择。
一个CLI工具,重新构想了机器人仿真世界的创建过程,只需提供输入文本,即可轻松生成动态而逼真的仿真环境。
为苹果的mlx机器学习库提供的非官方Rust绑定,支持在Rust程序中便捷地使用苹果的机器学习技术,特别适合希望在苹果生态中进行机器学习开发的开发者。
AnyModel是一个工具,允许用户将多个AI模型的输出并排展示。用户可以利用来自多个AI的信息,选择最适合自己需求的模型,从而获得更平衡的视角,并通过比较多个模型的输出,轻松识别'幻觉'现象。