小米范网站批量爬虫工具是一种快速爬行大量网站的工具。已爬网的URL可以进一步调用wvs，sqlmap，brutexss和其他工具进行检测。 如何使用该工具： 1.单击“新建任务”，然后输入要检测的URL。 2.设置子域白名单，自动保留和爬网属于白名单域的URL。 2，设置并发站点，并发线程等参数，点击开始。 工具流程： 假设我们创建一个新任务并将100个URL作为爬网程序的起始URL。具体的抓取过程如下： 1,0,01717对于这100个URL，根据是否合并了同源性，将同源URL放入目标中，并将这些URL用作源的起始URL。 2， 为每个目标抓取（默认为5个目标），对于每个目标的起始URL，使用浏览器点击捕获数据包（默认情况下，每个目标最多可以打开5个浏览器）+ HTML解析URL，浏览器点击在后台运行，没有界面，此处的浏览器点只是点击后发送的请求URL记录，但实际上并不发送请求。 3, 前两个步骤中收集的URL用作执行传统爬网的种子。这里的爬行主要采用webmagic框架，并对框架本身进行一些修改。此外，在将网址列入黑名单之前，系统会抓取每个网页。如果它与黑名单匹配，则会跳过它。从每个页面提取的URL将与子域的白名单匹配。如果它与白名单匹配，则会对其进行爬网。排队。 对于已爬网的URL，您可以直接使用sqlmap，brutexss，panoptic，wvs进行安全检测，还可以考虑添加一些其他检测工具。 此外，还提供了目录扫描功能。在树结构左侧的任何节点中，右键单击目录扫描将扫描当前所选节点所在的路径。 作者：范世强