GOSPIDER-用GO语言编写的快速网络蜘蛛 - 黑客门户-GoSpider GoSpider用Go编写的快速网络蜘蛛 项目地址:https://github.com/jaeles-project/gospider 安装 go get -...

TZB互联网安全

黑客门户
关注于网络安全
首页>> 渗透测试工具 >>GOSPIDER-用GO语言编写的快速网络蜘蛛 - 黑客门户



GoSpider

GoSpider用Go编写的快速网络蜘蛛
项目地址:https://github.com/jaeles-project/gospider

安装

go get -u github.com/jaeles-project/gospider 

特征

  • 快速的网页抓取
  • 暴力破解并解析sitemap.xml
  • 解析robots.txt
  • 从JavaScript文件生成并验证链接
  • 链接查找器
  • 从响应源中找到AWS-S3
  • 从响应源中查找子域
  • 从Wayback Machine,常见抓取,总计病毒,外星人保管库获取URL
  • 格式输出易于Grep
  • 支持打p输入
  • 并行抓取多个站点
  • 随机移动/网络用户代理

在单个站点上运行

gospider -s "https://google.com/" -o output -c 10 -d 1 

运行网站列表

gospider -S sites.txt -o output -c 10 -d 1 

同时运行20个站点,每个站点10个机器人

gospider -S sites.txt -o output -c 10 -d 1 -t 20 

还从第三方(Archive.org,CommonCrawl.org,VirusTotal.com,AlienVault.com)获取URL。

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source 

还从第三方(Archive.org,CommonCrawl.org,VirusTotal.com,AlienVault.com)获取URL并包括子域

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --include-subs 

使用自定义标题/ cookie

gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source -H "Accept: */*" -H "Test: test" --cookie "testA=a; testB=b"  gospider -s "https://google.com/" -o output -c 10 -d 1 --other-source --burp burp_req.txt 

黑名单网址/文件扩展名。

P / S:gospider列入黑名单.(jpg|jpeg|gif|css|tif|tiff|png|ttf|woff|woff2|ico)作为默认

gospider -s "https://google.com/" -o output -c 10 -d 1 --blacklist ".(woff|pdf)"

×

感谢您的支持,我们会一直保持!

扫码支持
请土豪扫码随意打赏

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

打赏作者
版权所有,转载注意明处:黑客门户 » GOSPIDER-用GO语言编写的快速网络蜘蛛

发表评论

路人甲

网友评论(0)