域名采集器 3.6 更新于:2020-05-29

域名采集器,高速有效域名网址采集工具


本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,


可以正常访问的就收录进数据库,并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个


然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复


形成裂变式蜘蛛网!


当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题


历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能


历史版本性能:

第一版跑出10分钟1W+的网址数,已经非常强悍了

2.5版10分钟跑出2.8万个,注意这都是去重复后的网址哦,而且都是顶级域名

3.0版10分钟采集13万+个网站

3.2版  采集21万用时9分钟

每一次升级都是质的飞越,购买过的朋友快来下载最新版吧!


二级域名不算我们不采集没有用


具体的性能看你自己的电脑配置了,各位可以根据自己电脑配置适当调整线程数


这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的


3.6版本界面:



随便输入一个你想要的关键词就可以开始采集了


这一版基本是最终形态, 估计不会有什么大的变动, 大家可以关注一下更新日志,如果有改动会在下方日志里列出!


具体的软件使用操作,大家可以看一下演示视频!


建议不要过于追求太大的线程数量,这个要根据你的网络带宽来调整,线程数过大同时访问的站也就越多,那就可能其中有部分网站打不开,因为你的宽带不够了


  • 本站所有软件均为绿色软件,精简小巧无需安装,双击打开即可运行
  • 软件采用账号密码授权,可任意换电脑使用,但是最多允许同时2台电脑使用
  • 软件账户与本站账户互通,在本站注册的账号同时可以在软件中登录
  • 为了更好的为您提供服务,禁止将您的软件共享或转售给他人使用
  • 3.6.1 2020-08-10
    • 新增64位和32位程序可下载
    • 修复“Invalid pointer operation”问题
    • 保存网址名称加时间,分别导出合格网址和错误网址
    3.6 2020-06-06
    • 自动保存网址后缀配置项
    • 取消多关键词输入,整体作用不大
    • 加入只要中文网站功能防止采集到国外
    • 线程数支持软件运行期动态修改
    • 合格网址采集完后继续利用不合格网址做跳板
    • 升级顶级域名算法确保有效
    • 提速保存网址速度仅需1秒钟左右
    • 新增错误网址的保存『可用于检查域名注册或其他用途』
    3.5 2020-03-17
    • 采用最新多线程去重算法
    • 修复网址过滤造成的爬虫断链问题
    • 3.5.1 修复一处字符编码异常
    3.3 2020-02-24
    • 优化源网址采集提升关键词最终网址数
    • 加入上域名长度限制以便于过滤掉一些长长的域名
    3.2 2020-02-13
    • 软件架构升级为64位,采集千万级别域名不会内存溢出
    • 新增主域名过滤功能比如要排除百度或163旗下的网址
    3.1 2020-01-13
    • 加入采集域名后缀限制功能
    • 优化去重算法,增加后期稳定性
    • 修复数据量大时界面偶尔卡顿问题
    • 加入采集数量设置,到达后自动停止并保存
    3.0 2019-12-08
    • 支持输入关键词启动爬虫
    • 界面更新-操作更简洁
    • 支持动态调整线程数
    • 修复长期运行时造成的界面卡死问题
    • 增加过滤二级域名选项
    • 采集性能加强
    2.5 2019-09-30
    • 美化用户中心界面UI,提示最新版本
    • 新增标题/关键词/描述/是否HTTPS采集功能
    • 优化内核合并为单文件
    2.0 2019-08-16
    • 改进多线程异步爬虫效率比1.0提升6倍
    • 增加最小化到托盘功能
    1.0 2019-08-02
    • 新版软件发布上线!
    域名采集器,高速有效域名网址采集工具
    软件名称: 域名采集器 3.6
    软件价格: ¥368 元
    咨询客服: 购买软件:域名采集器
    维护更新: 首年购买软件后,次年仅需支付10% 更新维护费用,即可享受专业人团队为您常年更新维护本软件,无限制的使用最新版本!
    最新版本: 3.6
    下单有礼: 赠送您18元代金券