域名采集器 3.7 更新于:2021-01-22
域名采集器,高速有效域名网址采集工具
本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,
可以正常访问的就收录进数据库,并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个
然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复
形成裂变式蜘蛛网!
当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题
历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能
历史版本性能:
第一版跑出10分钟1W+的网址数,已经非常强悍了
2.5版10分钟跑出2.8万个,注意这都是去重复后的网址哦,而且都是顶级域名
3.0版10分钟采集13万+个网站
3.2版 采集21万用时9分钟
每一次升级都是质的飞越,购买过的朋友快来下载最新版吧!
二级域名不算我们不采集没有用
具体的性能看你自己的电脑配置了,各位可以根据自己电脑配置适当调整线程数
这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的
3.6版本界面:
随便输入一个你想要的关键词就可以开始采集了
这一版基本是最终形态, 估计不会有什么大的变动, 大家可以关注一下更新日志,如果有改动会在下方日志里列出!
具体的软件使用操作,大家可以看一下演示视频!
建议不要过于追求太大的线程数量,这个要根据你的网络带宽来调整,线程数过大同时访问的站也就越多,那就可能其中有部分网站打不开,因为你的宽带不够了
3.7 2021-01-22
- 新增保存进度和加载进度功能,方便关闭软件后下次继续采集
- 新增单页采集功能,可以对指定网页进行采集
3.6.1 2020-08-10
- 新增64位和32位程序可下载
- 修复“Invalid pointer operation”问题
- 保存网址名称加时间,分别导出合格网址和错误网址
3.6 2020-06-06
- 自动保存网址后缀配置项
- 取消多关键词输入,整体作用不大
- 加入只要中文网站功能防止采集到国外
- 线程数支持软件运行期动态修改
- 合格网址采集完后继续利用不合格网址做跳板
- 升级顶级域名算法确保有效
- 提速保存网址速度仅需1秒钟左右
- 新增错误网址的保存『可用于检查域名注册或其他用途』
3.5 2020-03-17
- 采用最新多线程去重算法
- 修复网址过滤造成的爬虫断链问题
- 3.5.1 修复一处字符编码异常
3.3 2020-02-24
查看更多
- 优化源网址采集提升关键词最终网址数
- 加入上域名长度限制以便于过滤掉一些长长的域名