robots.txt的2.0.1_Robots.txt 2.0.1

最新发布的相关软件：

RoboSim 1.3.0 Beta版_RoboSim 1.3.0 Beta

RoboTask 5.7.0.827

RoboTask 5.6.4.809

ROBOCOPY 1.5_RoboCopy 1.5

RoboMirror 0.6.0.0

RoboBasket 3.3.5

ROBOCOPY批处理脚本作家20120125_RoboCopy Batch Script Writer 20120125

RoboSetup 2.1

软件工具来跟踪蜘蛛访问，并为您的网站创建robots.txt的说明

，

robots.txt是一个可视化编辑器工具的机器人排除文件和日志管理包工具。

robots.txt的允许用户快速，轻松地创建robots.txt文件的指示搜索引擎的蜘蛛，一个网站的哪些部分是不被索引和进行搜索，一般的Web公众，然后找出蜘蛛，做不遵守这些说明。

该方案为用户提供了登录到自己的神器出山:www.shenqi73.comFTP或本地网络服务器，然后选择是不被搜索的文件和目录。

这里的“robots.txt”的一些主要特点：

·视觉上产生行业标准的robots.txt文件
·识别恶意和不需要的蜘蛛，并禁止他们从您的网站
·直接搜索引擎抓取工具多语言网站相应的页面
·保持蜘蛛您的网站的敏感和私人领域的
·上传格式正确的robots.txt文件直接发送到您的FTP服务器不能切换的robots.txt编辑器
·轨道蜘蛛访问
·在HTML中，Microsoft Excel CSV和XML格式创建蜘蛛访问报告

要求：

· Internet Explorer 4.0或更高版本
·Winsock的2.0
·英特尔奔腾166处理器或更高
·64 MB RAM
·14K互联网连接
·8MB的可用硬盘空间（加上额外的空间将导入的日志文件从您的服务器）

限制：

·你不能添加到列表中的一个新的蜘蛛;
·您不能编辑蜘蛛的信息;
·您不能保存生成的指令文件robots.txt;
·Web服务器日志导入到一个文件中的限制;
·您不能导出日志分析结果;
·报告生成和定制化是不可用的。