域名采集器

域名采集器

多线程域名采集器一键采集全网域名 一个字 快!

最近更新 2024-12-06
软件介绍

域名采集器

请注意,采集域名结果与输入的关键词不相关,词工具主要是爬虫式采集,采集量非常大,就是不定爬到什么网站,如果要采集必须跟关键词相关的域名请用关键词版


 


本软件工作原理是从一个初始网址中,查找外部网站,比如初始页面中有30个外部网站,那就继续爬取这30个外本网站,


可以正常访问的就收录进数据库,并且在这30个网站中再次查找外部网站如果每个站有30个外部网站,那就是30*30=900个


然后再访问这900个网站剔除无法访问的,找到正常访问的剔除重复加入数据库,然后再查找他们页面中的外部网站,如需往复


形成裂变式蜘蛛网!



当然这里边需要处理很多事情,比如爬行记录的去重、多线程之间的干扰、等等问题


历时一个月终于开发调试出抢答稳定的2.0版本。更好的利用了现代多核CPU的性能


历史版本性能:

第一版跑出10分钟1W+的网址数,已经非常强悍了

2.5版10分钟跑出2.8万个,注意这都是去重复后的网址哦,而且都是顶级域名

3.0版10分钟采集13万+个网站

3.2版  采集21万用时9分钟

每一次升级都是质的飞越,购买过的朋友快来下载最新版吧!


二级域名不算我们不采集没有用


具体的性能看你自己的电脑配置了,各位可以根据自己电脑配置适当调整线程数


这个5年前就买的最低配的货,也该淘汰了工欲善其事必先利其器 这个道理是对的



采集域名:




导出域名:

域名采集器



近期更新

2024-10-06

更新对最新版本的https支持

提升对不同版本windows系统的兼容性

2024-08-29

修复导出域名时可能与限制域名后缀不符的域名出现

增强软件稳定性

去除采集时内容筛选,会造成软件未响应,后期会通过其他方式实现

采集入口合并到一起以http或者https开头的视为网址,其他视为关键词

其他微调

修复线程问题

2023-04-28

新增自定义种子网址功能

搜索启动词改为多个

新增内容筛选判断网页内容包含或排除某关键词

2023-01-26

新增保存进度和加载进度功能,方便关闭软件后下次继续采集

新增单页采集功能,可以对指定网页进行采集

保存网址新增保存全部或保存新网址选项

优化域名获取方式

2022-08-10

新增64位和32位程序可下载

修复“Invalid pointer operation”问题

保存网址名称加时间,分别导出合格网址和错误网址

...
热门软件

SEO自动外链蜘蛛池

一键批量推送网址吸引蜘蛛促进收录站群必备神器

域名采集器关键词版

根据关键词搜索想要的网站域名100%相关度

域名采集器

多线程域名采集器一键采集全网域名 一个字 快!

统计平台广告推送工具

批量向网址统计后台推送广告语 伪造搜索来源

网站批量检测有效性

快速检查网址是否能打开正常访问 或检查某漏洞是否存在

网站标题采集器TDK

批量采集网站的标题/关键词/描述支持导出txt和excel

关键词采集器

根据关键词挖掘相似关键词多平台支持下拉词/相关词/长尾词等

网站备份扫描器

批量扫描网址中的备份文件/打包数据web源码包子扫描器

端口批量扫描器

批量扫描服务器IP开放的端口 多线程支持多IP多端口

国外网站域名采集器

多线程国外域名采集器只能采集国外网站不包含国内的

PNG转ICO工具

一键拖拽即可把PNG图标转换成ICO图标