Transformers.js 是一个 JavaScript 库,允许用户在浏览器中直接运行预训练的 Transformer 模型,支持自然语言处理、计算机视觉、音频处理和多模态任务。它使用 ONNX Runtime 在浏览器中高效运行模型,并支持将 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX 格式。
Inferflow是一个高效且高度可配置的大型语言模型(LLM)推理引擎,支持多种Transformer模型,用户无需编写源代码,只需通过简单修改配置文件即可进行服务,旨在提供高效的推理性能,适应不同需求。
基于Llama2的AI小镇,旨在创建人类行为的互动仿真体。该项目利用先进的Llama2模型模拟真实的社交互动,并支持多种交互方式,能够有效模拟复杂的社会动态和人际关系。它提供了一个可扩展的框架,以适应不同场景的应用需求,适合多种行业使用。
Terminal GPT (tgpt) 是一个可以在终端中直接使用的ChatGPT工具,无需API密钥,支持多种命令行操作,易于安装和配置,适合开发者与终端用户使用。
大型语言模型(LLM)的chat模板,用于支持transformers的chat_template功能,旨在为不同模型提供一致的输入格式,提供了多个流行模型的示例模板。该项目为开发人员提供了便捷的工具,简化了与不同语言模型的交互流程,确保输入格式的一致性,提高了开发效率。
gpt-crawler是一个友好的网页爬虫项目,旨在自动化内容抓取和处理,支持生成知识库和定制化问答机器人,适合各类用户使用。
llama2.py是一个纯Python实现的Llama 2模型推理工具,具备单文件结构,便于快速部署,同时支持高效的内存管理和强大的可扩展性,适合满足定制化需求。
在消费级GPU上运行量化扩散模型,主要功能是将复杂的AI模型量化,使其在普通电脑上也能高效运行,特别适合在免费Colab笔记本上进行推理计算
taichi.js是一个现代化的JavaScript GPU计算框架,旨在提供高性能的计算能力,使开发者能够轻松地进行图形渲染、物理模拟、机器学习任务等。它支持多种数据类型,拥有易于使用的API,且具备跨平台兼容性,适用于多种应用场景。
AMD GPU推理引擎:基于 Docker 的 AMD GPU 推理引擎项目,旨在在 AMD GPU 上运行大型语言模型(LLMs),特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能,并支持容器化部署,方便用户进行模型的集成和使用。
Refinery是一个开源的数据中心化集成开发环境,专注于自然语言处理,结合了程序化标注、广泛的数据管理和神经搜索能力。
一个通过PyTorch从头开始训练Llama 2 LLM架构模型的项目,支持将权重保存到原始二进制文件并在简单的C文件中推断模型。
为科研人员和开发者量身打造的高性能RAG框架,支持处理多种数据类型,包括图片、文档和网页快照。
Lepton AI SDK旨在简化AI应用的构建过程,提供一个Pythonic的框架,易于集成并支持多种AI模型,同时允许进行实时数据处理。
AwaDB 是一款针对嵌入向量存储与处理的AI原生数据库,支持高效的相似性搜索和实时数据更新,能够与大型语言模型(LLM)应用无缝集成,灵活的查询接口使得用户可以方便地进行数据操作。
Self-Translate是一种技术,通过利用多语言语言模型的少样本翻译能力,能够有效地提高多语言语言模型的性能,克服对外部翻译系统的依赖,尤其在非英语输入场景下表现优越。
JaxIRL是一个在JAX框架中实现的反向强化学习(IRL)算法,能够以极高的效率训练模型,支持多种算法,具有灵活性和可扩展性。
基于 Ray 的 LLM 全生命周期解决方案,包括预训练、微调、部署和服务,支持 Python/SQL API,基于 Ray,易于扩展
Logos Shift 提供一个简单的方式来替换昂贵的LLM API调用,自动采用经过定制后的更小更快的模型,有效提升模型调用效率并简化管理流程。
ChatLM-mini-Chinese是一个中文对话0.2B小模型,旨在整理生成式语言模型的训练流程,包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。
用Go语言编写的云原生AI网关,作为OpenAI的代理服务,可以创建具有速率限制、费用限制和生存时间限制的API密钥,实现细粒度的访问控制,支持多个大型语言模型,并简化LLM(Large Language Model)的运维操作。
AutoNetGen 是一个自动化网络生成工具,旨在通过大模型与小模型的协同进化,帮助用户高效地设计和训练机器学习网络,支持多种网络架构,并提供友好的用户界面,极大简化了模型创建过程。
Graph4NLP是一个库,旨在简化图神经网络在自然语言处理中的应用,支持多种任务和模型的灵活使用。
Katana ML Skipper 是一个简单且灵活的机器学习工作流引擎,支持多种机器学习任务,具有强大的可扩展性,能够轻松集成其他工具和库,帮助用户高效地创建和管理机器学习工作流。
这是一个包含多个基于PyTorch的深度学习应用的库,旨在为圣路易斯华盛顿大学课程提供教育资源和实例,帮助理解深度学习概念。
一种上下文学习方法,将基于提示的表示应用于自回归模型,以生成高质量的句子嵌入,无需微调。该方法通过利用上下文信息,避免了传统微调过程的复杂性,同时支持不同规模的语言大模型,能够在多种转移任务上取得最佳结果。
One-YOLOv5 是一个基于 OneFlow 后端的 YOLOv5 实现,旨在提升目标检测模型的训练速度和效率,特别适用于资源受限的环境。它兼容 OneFlow 后端,优化了模型训练时间,支持多种数据集格式,并提供详细的性能分析和优化方法,帮助用户提高模型生产率。
river-torch是一个基于PyTorch的Python库,专为在线深度学习而设计,支持实时数据的模型适应。它与River框架无缝集成,提供多种神经网络架构,并包含模型评估和性能监控工具。
GeneralAgent是一个通用的agent架构,具有简单、快速、稳定的特点。它支持序列化,内置多个解释器如Python和Shell,并允许用户动态创建UI界面。此外,用户可以通过自然语言描述直接生成agent,无需编程,极大地降低了使用门槛。
LLaMA.go是一个LLaMA模型的纯Go实现,类似于llama.cpp,但完全用Go编写。