BotNow 爬虫

如果你在网站日志中看到 User-Agent 为 BotNowBot 的请求，那就是我们的爬虫。当网站所有者（或受其委托的人）在 BotNow 中输入网址以创建 AI 助手时，它会读取这家网店的页面。

它如何表明身份

BotNowBot/0.1 (+https://botnow.site/bot/)

它的行为方式

• 对页面遵守 robots.txt 中的规则（robots.txt 文件本身和站点地图除外）。
• 只读取无需登录的公开页面，不会试图绕过任何防护。
• 限制每次抓取的请求数量和等待时间。一次抓取通常最多读取几十个页面。
• 不会访问内部或私有地址。

如何屏蔽它

在你网站的 robots.txt 中加入：

User-agent: BotNowBot
Disallow: /

你可以只屏蔽网站的一部分：把 / 换成相应路径即可。如果希望爬虫读取网站，但你的防护拦截了它（返回 403），请把 BotNowBot 加入白名单。

问题与投诉：请见联系我们页面。