所有AI工具AI开发框架AI开源项目

sitemcp开源项目 – 网站转MCP知识库工具

基于Node.js开发的命令行工具,可将整个网站内容抓取并转换为MCP协议兼容的知识库服务器。 该项目是sitefetch的分支版本,专为Claude等支持MCP协议的AI客户端设计,通过Mozilla的R...

标签:

AI交流(进群备注:sitemcp)

基于Node.js开发的命令行工具,可将整个网站内容抓取并转换为MCP协议兼容的知识库服务器。
该项目是sitefetch的分支版本,专为Claude等支持MCP协议的AI客户端设计,通过Mozilla的Readability技术智能提取网页主体内容,
支持缓存机制、高并发抓取和多种内容过滤策略,可快速构建本地化的网站知识库。

sitemcp的特点:

  • 1. 整站抓取并自动缓存至~/.cache/sitemcp
  • 2. 支持最高10并发的高效抓取(–concurrency)
  • 3. 智能内容提取技术(Mozilla/readability)
  • 4. 支持路径通配符匹配(-m/–match)
  • 5. 自定义CSS选择器(–content-selector)
  • 6. 多维度工具命名策略(-t/–tool-name-strategy)
  • 7. 内容长度控制(-l/–max-length)
  • 8. 无缝集成MCP客户端配置

sitemcp的功能:

  • 1. 基础用法:sitemcp https://daisyui.com
  • 2. 高并发抓取:sitemcp https://daisyui.com –concurrency 10
  • 3. 路径匹配:sitemcp https://vite.dev -m ‘/blog/**’ -m ‘/guide/**’
  • 4. 内容选择器:sitemcp https://vite.dev –content-selector ‘.content’
  • 5. Claude配置集成:在MCP客户端配置JSON中嵌入sitemcp命令
  • 6. 子域名策略:sitemcp https://react-tweet.vercel.app/ -t subdomain

相关导航

暂无评论

暂无评论...