NEXUS是基于RNS-CKKS的安全变换器推理的非交互式协议,旨在为安全深度学习推理提供高效的解决方案,能够有效地保护数据隐私,同时降低通信开销,支持多种深度学习模型的安全推理。
Giskard是一个开源测试框架,专为生成式AI和机器学习模型设计。它集成了130多种评估指标,支持自动化检测生成内容的事实性、安全性及合规性。Giskard可以处理从表格模型到大型语言模型(LLM)的所有内容,并提供企业级测试中心,支持自托管和云部署。它还与Hugging Face、MLFlow、Weights & Biases等平台无缝集成,帮助团队更快、更好地交付机器学习产品。
OpenDelta是一个开源框架,旨在实现高效的参数调优(Delta Tuning),支持多种机器学习模型和任务,具有易于集成和扩展的特点,能够优化计算资源的使用。
Infinity是一个高吞吐、低延迟的REST API,专为向量嵌入服务而设计,支持多种sentence-transformer模型和灵活的框架兼容性,旨在提升机器学习和自然语言处理任务的效率和性能。
一个让不同大型语言模型(LLMs)高效沟通的跨平台协议,通过协商实现不同系统间的高效数据交换