roboxt！ 1.0.1_roboxt! 1.0.1下载地址

检查的robots.txt是否正确配置

roboxt！用于测定中，如果配置正确的robots.txt是一个Firefox插件。报告网络爬虫抓取哪些页面，标志着网络爬虫可能无法访问的链接。

在状态栏roboxt！是否有一定的神器出山:www.shenqi73.com履带式显示器可以访问当前的URL。用户可以选择在首选项中应标明封锁的链接。在这种情况下，状态栏也显示阻塞的链接和封锁链接的标志是淡红色的背景和虚线灰色的边框在网页上。