手把手教你如何获取全网可访问的所有网站网址和网站信息

⼿把⼿教你如何获取全⽹可访问的所有⽹站⽹址和⽹站信息

# 如何获取全⽹可访问的所有⽹站⽹址和⽹站信息呢

今天由于有⼀个⼩程序项⽬,是专门给织梦dedecms⽹站、WordPress⽹站做⼩程序制作免费⼩程序的。但是⼿上织梦⽹站和WordPress⽹站

⽤户数量都不是很多,很好的项⽬却没有触及到⽤户,没有能给⽹站带来好处,于是就想,能不能收集现在⽹上所有的织梦⽹站和WordPress⽹

站,并且获取他们的邮箱、QQ、微信、电话等有⽤信息呢?

带着疑问百度了⼀番,没有发现现成的可⽤数据,可是⼩程序项⽬还得往前推呢,等着⽤户来使⽤呢?既然⽹上没有现成的,要不就⾃⼰写⼀个

吧。于是就有了这个cobweb全⽹⽹址采集器。

## 全⽹⽹址采集器是什么?

这是⼀个由golang编写的全⽹⽹址采集器,可⽤⾃动爬取可触及的所有⽹站信息。该⽹址采集器会⾃动采集并分析⽹站的标题、站点描述、微

信、QQ、联系电话、⽹站所⽤的运⾏环境、ip信息等,甚⾄是⽹站所⽤的框架。

## 为什么会有这个全⽹⽹址采集器

* 因为我想收集现在全⽹的⽹址,并分析⽹站数据。

## 全⽹⽹址采集器能采集哪些内容

本采集器可以采集到的的内容有:⽂章标题、⽂章关键词、⽂章描述、⽂章详情内容、⽂章作者、⽂章发布时间、⽂章浏览量。

##全⽹⽹址采集器可⽤在哪⾥运⾏

本采集器可⽤运⾏在 Windows系统、Mac 系统、Linux系统(Centos、Ubuntu等),可⽤下载编译好的程序直接执⾏,也可以下载源码⾃⼰

编译。

## 如何安装使⽤

* 下载可执⾏⽂件

请从Releases 中根据你的操作系统下载最新版的可执⾏⽂件,解压后,重命名config.dist.json为config.json,打开config.json,修改mysql

部分的配置,填写为你的mysql地址、⽤户名、密码、数据库信息,新建cobweb数据库,导⼊mysql.sql到填写的数据库中,然后双击运⾏可执

⾏⽂件即可开始采集之旅。

* ⾃助编译

先clone代码到本地,本地安装go运⾏环境,在cobweb⽬录下打开cmd/Terminal命令⾏窗⼝,执⾏命。如果你没配置代理的话,还需要新设置

go的代理

“`shell script

“`

  最后执⾏下⾯命令

“`shell script

gomod tidy

gomod vendor

gobuild

“`

此文由“快兔兔AI采集器”自动生成,目的为演示采集器效果,若侵权请及时联系删除。

原文链接:https://wenku.baidu.com/view/b0e893a087868762caaedd3383c4bb4cf7ecb7eb.html

更多内容