“` 这种找相同数据的步骤： 由于单文件总量为5G*64=320G，无法一次读入内存，同样将a文件hash函数读入1000个文件中，每个大小为300M左右，同样将b文件也是以相同的hash函数读入另外的1000个文件，这样就就形成了1000对文件，每一对文件才有可能存在相同的url，将a的映射文件hashmap，然后遍历对应的本对中b的映射文件，若在a的hashmap中存在，则为相同url，这样统计下来 “` Was this helpful? YesNo 0 / 0 上一篇: 怎么在海量数据中找出重复次数最多的一个？ 下一篇: 有10个文件，每个文件1G,每个文件的每一行存放的都是用户的query，每个文件的query都可能重复，要求按照query的频度排序？ 发表回复 取消回复0 Your email address will not be published. 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。