多线程查找大数据重复值问题 (200分)

  • 主题发起人 主题发起人 lovesoft
  • 开始时间 开始时间
如果重复数据很少的情况下:
可能这个方法比用数据库查还快
 
兄弟幸苦了,可是你知道吗我把你的代码复制到行数达1500000(重复当然太多了)然后我用ultral Edit处理 才用了40秒,要是能做到这一点该多好,我原意出3000分。
 
你是怎么用ultral Edit处理的呀,
我用ultral Edit处理了半天,ultral Edit把内存用完也没有比较出来....
 
150W数据用我写的程序生成随机数据需3.078秒
若数据有1/100000的重复率
处理时间为33.719秒
若数据有1/10000的重复率
处理时间为36.672秒
若数据有1/1000的重复率
处理时间为122.469秒
不过速度还是赶不上ultral Edit
ultral Edit是重复数据越多,删除和排序就越快....
 
接受答案
 
测试1000W数据,
生成测试数据33.654秒
完成排序,去重复用时:629.713秒(重复比例1/100000)
 
后退
顶部