每天进步一小步官网 – 学习LLM中Token的计算

ChatGPTFirewall是一个基于网页的应用程序，允许用户上传文件，使用自然语言提问，并根据向量数据库和大型语言模型接收上下文相关的回答。

LLMPlus是一个Python包，旨在帮助开发者使用本地的大型语言模型（LLMs）来构建AI应用。它提供了简洁的接口，以便进行提示工程，支持加载LLM模型、嵌入模型和向量数据库的类。通过自定义提示工程和RAG技术，开发者可以轻松创建LLM应用。

Haystack Cookbook是一个使用Haystack进行自然语言处理的示例集合，提供如何结合不同的模型提供者、向量数据库、检索技术等的指导。大多数示例展示特定小型演示，旨在帮助用户快速上手和扩展他们的NLP项目。

LangChain-Emoji是一个基于LangChain开发的开源表情包斗图Agent，利用AI技术使用户能够通过表情包进行有趣的互动。项目结合了OpenAI和ZhipuAI的API，使用Python进行开发，支持多种大模型和向量数据库。用户可以通过输入提示词，系统会从表情包数据库中检索并展示最匹配的表情包。项目还提供了数据初始化工具，用户可以通过本地或云存储服务下载并管理表情包数据集。此外，项目包含一个Web前端界面，用户可以实际体验表情包的检索和展示。项目详细说明了环境配置、依赖安装和运行步骤，便于用户快速部署和使用，并计划支持更多的模型和功能，增强表情包斗图的互动性和趣味性。

一个开源项目，结合OpenAI的GPT-3.5与pgvector，实现AI文档检索与对话功能。该项目利用OpenAI的Embeddings API进行文本相似度检索，能够根据用户的问题生成相应的回答和代码，支持多种语言的输入和输出，并将文档以向量形式存储，从而提高搜索效率。

MongoDB开发的生成式AI用例项目库，包含RAG(检索增强生成)、AI代理、行业特定应用等多个实用示例。提供了与MongoDB集成的完整解决方案，包括向量数据库、操作数据库和记忆提供者等功能，支持LlamaIndex、Haystack和LangChain等主流框架的集成应用。

Zilliz Cloud是基于流行的开源Milvus构建的向量数据库平台，能够存储、索引和搜索数十亿个嵌入向量，为企业级的相似性搜索、推荐系统、异常检测等提供支持。

Pinecone 是一个先进的向量数据库，旨在高效且低成本地为 AI 应用提供支持。作为无服务器解决方案，它能够快速部署和扩展 AI 服务，处理数十亿个向量嵌入，提供低延迟搜索能力，适用于推荐系统、搜索引擎等 AI 驱动的应用。

在浏览器中构建AI记忆库，一个完全运行在浏览器中的向量数据库引擎，利用IndexedDB和WebAssembly技术，实现文本向量的存储和高效查询，帮助开发者轻松构建搜索系统和推荐引擎。

Qdrant是一个用Rust编写的开源向量数据库和向量搜索引擎，提供快速、可扩展的向量相似性搜索服务，并拥有便捷的API。

在关系数据库系统中添加向量功能的教程，在CMU-DB的BusTub教育数据库系统的修改版上实现类似pgvector的能力，包括向量存储、向量表达式和向量索引

Super-Rag是一个高性能的RAG管道，专为AI应用设计，集成了摘要生成、检索/重排和代码解释器功能，通过简单的API提供服务。它支持多种文档格式和向量数据库，提供可定制的文档分割/分块功能，并允许使用多种模型（包括专有和开源模型）进行数据编码。此外，Super-Rag还内置了代码解释器模式，用于处理复杂的问答场景，并通过唯一ID进行会话管理以实现缓存。

agent-flock是一个基于工作流的低代码平台，旨在帮助开发者快速构建聊天机器人、RAG（检索增强生成）应用以及多代理协作系统。它集成了工作流引擎、LangChain、LangGraph、向量数据库支持、多代理协调模块和可选的可视化界面，支持通过YAML或JSON文件定义工作流，并提供离线运行能力。其核心目标是简化AI代理系统的开发过程，支持多种应用场景，并提供开源和离线运行能力。

DopplerAI是一个托管的向量数据库和AI记忆解决方案，简化了为AI模型增加记忆和语义搜索功能的过程。它提供了几个API端点，让开发者可以专注于产品开发，而无需担心基础设施维护。通过DopplerAI，用户可以轻松地存储和检索信息，从而增强聊天机器人和虚拟助手等应用的上下文响应能力。

该项目提供了一个系统的路线图，帮助学习者在2024年掌握生成人工智能的各个方面，包括Python编程、基本机器学习、自然语言处理、深度学习、高级NLP概念以及生成式AI的应用和部署方法，同时还介绍了向量数据库和存储的相关内容。