网站URL链接抓取器工具

SEO新闻
作用: 一、制作网站地图 使用软件保存的TXT。直接上传到网站根目录就可以成为一个简单的TXT网站地图。 制作成网站地图后,可到 进行提交,以增加收录。 二、手动提交网...

网站URL链接抓取器



作用:


一、制作网站地图

 

使用软件保存的TXT。直接上传到网站根目录就可以成为一个简单的TXT网站地图。

 

制作成网站地图后,可到  进行提交,以增加收录。

 

二、手动提交网址。

 

可以把软件抓取下来的链接自己进行提交,增加蜘蛛的爬取频率,从而增加收录量。可配合本站的“百度URL批量提交工具”一起使用。

 

三、检查失误。

 

所谓的失误,是指某些后台链接。不想让用户知道的。但是由于不小心在程序的某个地方有该网页的链接自己没注意到。这时候就可以使用软件把整个网站的链接抓取下来。然后检查看看有没有敏感链接。

 

四、检查收录。

 

可以查看一下百度对本站的索引量。然后使用软件把网站的所有链接都抓取下来。看看数量上的差距是否比较大。如果差距过大,则要注意是否空间不稳定或者文章质量太低或者暴光率太低。

 

使用方法:(对应图片标注)

 

1、输入需要抓取的网站首页地址。

 

2、设置线程数量。(线程越少,速度越慢,耗CPU及网速越低,越不容易漏掉链接。线程越多,速度越快,耗CPU及网速越高,漏抓取机率高。)

 

3、选择抓取后的链接保存地址。(注:如果选择的TXT名称为 abc.txt的话。软件会保存为 abc_*.txt 的形式)

 

4、选择每个TXT保存的条数。(以第3条举例,如果这里设置为5000,当abc_1.txt保存的链接数到达5000,后面的链接会自动保存到abc_2.txt里,依此类推。)

 

5、开始







1
联系我们