前言：
上周有位粉丝给我发了一个这样的问题：怎么处理17G的sql数据库文件。这个问题的其实有些大数据的处理的方向，当然肯定是把这些数据放在mysql数据库里或者Hive里查询操作比较方便。毕竟像Hadoop全家桶就是为了解决大数据而生的。
我是菜鸡
但是考虑到现实情况，我不可能现在就搭建个大数据分析系统吧，就用手里现有的工具怎么做这些内容呢。而且看问题很像是数据库导出来sql文件，不在数据库中的。这个跟我之前处理出的一个问题很像，简单的分享一下处理思路，以供参考。
问题是：对5亿手机号码去重得出不重复的个数
业务背景：
现有几个文件，格式为txt/csv的行文件，里面存的是全是手机号码，目标量大约在3-5亿。文件大小在4GB左右，同一文件以及不同文件中可能会包含着重复的号码。需求是统计出所有去重号码后的数量。
解决思路：
按照现在我国的手机号码规则，理论上可有存在从10000000000到19999999999的号码区间，但是实际上10/11/12号段开头的不是普通电话号码，所以不需要考虑在内，实际上的号码也就是在几亿的量级。
第一步：按照字符流挨个读取所有文件的每一行，按照手机号码开头13、14、15、16、17、18、19等分成7个文件输出到相应的文件中。
第二步：用位图的方法统计每个文件中的数量。使用JDK自带的工具包的类-java.util.BitSet。简单讲，它的工作原理就是从0-1亿的空间，每一个位可以表示有或者没有，而不是把所有的号码都存到内存中，那样虚拟机直接原地爆炸，废话不多说，直接上代码。
代码演示：
import java.io.*;import java.util.BitSet;public class TxtUtils { public static void main(String[] args) { //第一步，先把号码按照开头2位数分类 //获取目标文件所在的目录 File file = new File("C:\\Users\\Administrator\\Desktop\\待去重文件所在文件夹"); File[] files = file.listFiles(); try { //创建7个文件来存放第一次的选择 BufferedWriter bufferedWriter13 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\13.csv"))); BufferedWriter bufferedWriter14 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\14.csv"))); BufferedWriter bufferedWriter15 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\15.csv"))); BufferedWriter bufferedWriter16 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\16.csv"))); BufferedWriter bufferedWriter17 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\17.csv"))); BufferedWriter bufferedWriter18 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\18.csv"))); BufferedWriter bufferedWriter19 = new BufferedWriter(new FileWriter(new File("C:\\Users\\Administrator\\Desktop\\归类文件夹\\19.csv"))); if (files.length > 0) { //循环读取每个文件的每一行内容 for (File f1 : files) { BufferedReader bufferedReader = new BufferedReader(new FileReader(f1)); String line = ""; if ((line = bufferedReader.readLine()) != null) { String begin = line.substring(0, 2); switch (begin) { case "13": bufferedWriter13.write(line + "\n"); case "14": bufferedWriter14.write(line + "\n"); case "15": bufferedWriter15.write(line + "\n"); case "16": bufferedWriter16.write(line + "\n"); case "17": bufferedWriter17.write(line + "\n"); case "18": bufferedWriter18.write(line + "\n"); case "19": bufferedWriter19.write(line + "\n"); } } } bufferedWriter13.flush(); bufferedWriter13.close(); bufferedWriter14.flush(); bufferedWriter14.close(); bufferedWriter15.flush(); bufferedWriter15.close(); bufferedWriter16.flush(); bufferedWriter16.close(); bufferedWriter17.flush(); bufferedWriter17.close(); bufferedWriter18.flush(); bufferedWriter18.close(); bufferedWriter19.flush(); bufferedWriter19.close(); //这样就可以把 10亿的电话原文件按照开头两位数相同的归放在相同的文件中 //在分别统计这7个文件的数量，总和就是去重后的电话号码数量。 } } catch (IOException e) { e.printStackTrace(); } //第二步。获取到分类后的文件后分别统计这个文件中去重后的文件的数量 File file2 = new File("C:\\Users\\Administrator\\Desktop\\归类文件夹"); File[] files2 = file.listFiles(); Long sum = 0L; try { for (File f2 : files2) { BufferedReader br = new BufferedReader(new FileReader(f2)); //创建一个1亿的位图 BitSet bitSet = new BitSet(100000000); String line = ""; int count = 0; if ((line = br.readLine()) != null) { String phone = line.substring(2, 11); //根据位图存放，目的是为了去重 if (!bitSet.get(Integer.valueOf(phone))) { bitSet.set(Integer.valueOf(phone)); count++; } } sum = sum + count; //依次输出各个文件中去重后的电话号码的个数 System.out.println("文件" + f2.getName() + "具有不重复的号码数:" + count); } System.out.println("所有文件不重复号码数的和:" + sum); } catch (FileNotFoundException e) { e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } }}工作后记：
刚开始，我想到的方法按个读取号码，存放到一个Set中，因为set本身的特性就是不重复，但是奈何数据量太大，这样直接把虚拟机的内存爆掉，GC异常。所以在一定情况下，解决方法根据客观需求来变化，数据量很小的情况下一些方法行得通，在超大数据量的情况下，很多方法就不行了。
Excel 的最大支持行数是1048756行，经常用excel的人都不知道它可以支持多少数据，你可以新建一个excel表格，然后按住crtl+下箭头，就可以定位到最后一行，看看是不是这个数。
不过虽然excel可以 支持最大100万的数据量，但是在实际上你的数据量超过50万后，打开速度会显著增加，然后处理速度也是感人。在大数据处理上超过100万的数据可以告别excel。
问题总结：
像粉丝的问题，只是问了怎么处理编辑17G的sql的内容，处理这种问题其实用到的一种思想就是分治:
分治，字面上的解释是“分而治之”，就是把一个复杂的问题分成两个或更多的相同或相似的子问题，再把子问题分成更小的子问题……直到最后子问题可以简单的直接求解，原问题的解即子问题的解的合并。在计算机科学中，分治法就是运用分治思想的一种很重要的算法。分治法是很多高效算法的基础，如排序算法(快速排序，归并排序)，傅立叶变换(快速傅立叶变换)等等。
把这17G文件切分成17个1G的文件，或者34个500M文件(近似处理1G=1024M，34个多)。然后读数据流(字节流or字符流)，根据你的具体的需求，编辑内容。
话回来，上面我说的仅仅需要去重统计数量，要是给出1亿个手机号码，按照数字大小排序，有什么好的方法？
