大数据量的List问题处理,多线程分批处理,需要解决的问题:
private static ThreadPoolExecutor threadPool = new ThreadPoolExecutor(5,10 * 3,60 * 60,TimeUnit.SECONDS,new LinkedBlockingQueue(500));@Testvoid test1() {//不安全List result1 = new ArrayList<>();//安全(效率低)Vector result2 = new Vector<>();//安全(效率中)List result3 = new CopyOnWriteArrayList<>();//安全(效率高)List result4 = Collections.synchronizedList(new ArrayList());//根据参数开启线程CountDownLatch countDownLatch = new CountDownLatch(5);for (int i = 0; i < 5; i++) {threadPool.execute(new Thread(new Runnable() {@SneakyThrows@Overridepublic void run() {for (int i = 0; i < 100; i++) {result1.add("listi" + i);result2.add("listi" + i);result3.add("listi" + i);result4.add("listi" + i);}Thread.sleep(3000);//等待线程数减一countDownLatch.countDown();}}));}try {// 主线程等待countDownLatch.await();System.err.println("----------");} catch (InterruptedException e) {e.printStackTrace();}System.out.println(result1.size());System.out.println(result2.size());System.out.println(result3.size());System.out.println(result4.size());}
动态规范:和分而治之不同的是,每个小任务之间互相联系。
工作密取:分而治之分割了每个任务之后,某个线程提前完成了任务,就会去其他线程偷取任务来完成,加快执行效率。同时,第一个分配的线程是从队列中的头部拿任务,当完成任务的线程去其他队列拿任务的时候是从尾部拿任务,所以这样就避免了竞争。
注意:ForkJoinPool的invoke方法是同步阻塞的,excute方法是异步的。