Toolhouse是一个云基础设施平台,旨在为大型语言模型(LLMs)提供动作和知识,简化函数调用过程,仅需三行代码即可实现。
智能优化版Llama.cpp:基于原版Llama.cpp的克隆项目,它增加了最先进的量化技术,并针对CPU性能进行了改进,使得在处理大型语言模型时更加高效
llama-node是一个基于Node.js的项目,旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型,适合个人计算机使用。它基于llama-rs构建,旨在促进AI技术的民主化,使更多开发者能够轻松访问和使用大语言模型。
aisuite是吴恩达开源的Python库,旨在提供一个统一接口,让开发者可以轻松使用来自多个提供商的大型语言模型。支持OpenAI、Anthropic、Azure、Google等主流AI服务,使用类似OpenAI的接口设计,使得开发者能够无缝切换不同的LLM提供商进行测试和对比,无需修改代码。
Repomix 是一款高效的工具,专门用于将代码库打包成 AI 友好的格式,便于输入到大型语言模型中进行处理。它支持多种功能,包括遵循 .gitignore 规则、远程仓库处理、Token 计数、安全检测等,确保代码打包过程高效且安全。此外,Repomix 还提供智能 Token 计数模块、安全扫描引擎、多格式解析器、依赖关系可视化和增量式打包等高级功能,适用于多种应用场景。
一个用于端到端架构和大语言模型(LLM)的项目,旨在简化和优化开发过程。
Taylor AI 是一个高效的工具,旨在帮助用户在几分钟内微调开源大语言模型(如Llama2、Falcon等)。它让用户专注于实验和构建更好的模型,而不用花时间在繁琐的Python库上或跟进每一个开源LLM的更新。同时,用户拥有自己的模型,提升了数据安全性和控制权。
PlugBear是一款能够快速将大型语言模型(LLM)应用连接至多种沟通渠道的工具,如Slack、Discord、Zendesk和电子邮件。它支持多种LLM应用构建器和框架,包括OpenAI的GPT、LangChain等,帮助用户轻松集成和管理AI聊天机器人。
一个处理流式生成的JSON的库,能够从首个token开始解码,非常适合时间敏感的应用。
该项目探讨了如何将大型语言模型用于各种应用中的工具创建。
Zeno Build旨在帮助开发人员快速构建、比较和迭代使用大型语言模型应用的工具,提供简单的代码示例和实验管理功能。
Composable Prompts是一个顶尖平台,旨在快速构建、测试和部署基于大型语言模型(LLMs)的任务和API。它为LLMs的世界带来了组合、模板、测试、缓存和可视化等功能,使开发者能够高效地创建强大的提示,重用它们,并在不同环境中进行测试。同时,它通过智能缓存优化性能和成本,并允许轻松切换模型和运行环境。
Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具,将模型的权重、配置、提示等打包成自包含的文件,可以在任何地方运行。
在实际场景用Langchain开发LLM应用的示例,使用JavaScript实现。该项目提供了多种实际应用的示例,展示了如何将Langchain与大型语言模型集成,支持多种语言处理功能,并且易于扩展和自定义。
Llumnix是一个针对大型语言模型(LLM)多实例服务的高效且易于使用的请求调度层,支持动态调度、内存碎片化减少、加载均衡优化,并且易于与现有的多实例部署平台集成。
AI Town是一个旨在提供强大基础的平台,支持共享全局状态、事务处理和事件日志,便于开发和扩展。
这是一款 ChatGPT 桌面应用,支持跨平台使用,具备丰富的功能和用户友好的界面。
llm.mojo是Andrjey Karpathy将大型语言模型(LLM)最小化代码移植到Mojo编程语言的版本,旨在提供高效的模型推理和简化的学习体验。