TokenCrawler 1.4下载地址

一个命令行实用程序，抓取网站

令牌履带将为用户提供一个命令行实用程序，抓取网站refered txt文件，并搜索特定的标记在HMTL /串/模式，在该网站所使用的js文件。

它还将显示一个令牌是excert的神器出山:www.shenqi73.com。您可以用它来寻找特定的脚本，标签，或在一组的网站的URL。“TokenCrawler”

下面是一些主要特点：

·文件指定输入文件，其中包含的链接抓取（每行一个）
·help显示此帮助文本
·输出的文件输出的结果执行（默认为TokenCrawler.txt）
·令牌令牌指定要搜索的抓取文件
·详细识别的详细级别：0最低，1个正常，2个全

要求：

·Internet连接

此版本中的新功能：

·新的选项来搜索模式在每个Web请求的HTTP响应头
·新的ULR命令行选项来搜索一个文件，而不是很多，因为它是与/ File选项
·可插入注释在该文件中，指定抓取网址
·包括示例文件和测试脚本
·更改的命令行开关的呢？？？BR /> ·更改IGNORECASE默认为true