高性能快速去除TXT文件中的重复文本行,支持两个文本合并后去重
支持单个文档去重,也支持两个文本合并+去重

1、导入中文文本
2、导入去重文本
具体性能参考工作日志,我使用笔记本操作,配置越高的电脑处理速度越快
18:54:39正在导入种子文本
18:54:49导入种子文本:C:/Users/mianh/Desktop/种子.txt 数据行:13006980 耗时:8077
18:54:56正在导入对比文本
18:55:16导入对比文本:C:/Users/mianh/Desktop/对比.txt 数据行:25230042 耗时:14965
18:55:46开始合并文档
18:56:05对比去重
18:56:46处理完毕 总数据行:38237022 去重后数据行:2065650 新增数据行:2038771
去重后保存结果:

总数据.txt 是 种子文本+去重文本 合并 并且去重 的结果。
新数据.txt 是 去重文本里边在种子文本中不存在的数据,相当于是 去重文本比种子文本多出来的数据行。
本站所有软件均为绿色软件,精简小巧无需安装,双击打开即可运行
软件采用账号密码授权,可任意换电脑使用,默认允许同时1台电脑使用,可增加多台
软件账户与本站账户互通,在本站注册的账号同时可以在软件中登录