15:37 提问
java中对数据进行对比，数据可能会达到千万级
现在有一个需求，需要对两部分数据进行对比，一部分是财务数据，
一部分是另外一个系统导出数据，将两边数据进行对比，简单来说就是看看财务的流水是否能和系统内的数据对上账，其中需要根据每条记录去对比，数据
很可能会达到千万级，求各位大神给点思路，小子非常感谢
按赞数排序
没人自己顶上去，各位大神给点意见指导指导
分而食之,一口吃下个大胖子;
可以先按照时间段来分段对比,这样能保障不宕机;
时间上可以使用多线程来处理,分别取出不同时间段来进行对比;
这只是一个思路;
和这个类似，稍微改一下就行
可以解决。简单说一下思路，首先保证一类数据文件有顺序，另一类数据文件有序无序都行。采用二分比对，从无序文件中直接读取一条记录，
读取的记录，直接和有序文件进行比较，此时因为有序文件是有序的，又因为采用二分比对，时间上可以忽略不计，千万级记录一会就比对完了。
数据库操作最好批量进行，数据库连接什么的很耗时。连接次数过多，浪费时间。
其他相关推荐java大数据排名比较高的有哪些？_百度知道
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。
java大数据排名比较高的有哪些？
我有更好的答案
不知道有没有，不过魔据还不错。
为您推荐：
其他类似问题
您可能关注的内容
换一换
回答问题，赢新手礼包博客分类：
通过使用java提供的io，scanner类，apache提供的api处理大文件数据性能分析比较，代码如下：
import java.io.BufferedOutputS
import java.io.BufferedR
import java.io.BufferedW
import java.io.F
import java.io.FileInputS
import java.io.FileOutputS
import java.io.FileR
import java.io.IOE
import java.io.InputS
import java.io.OutputS
import java.io.OutputStreamW
import java.io.R
import java.util.R
import java.util.S
import mons.io.FileU
import mons.io.LineI
import org.junit.T
public class TestFile {
//造数据，测试下面各个方法读取数据性能
public void makeFile() throws IOException
File file = new File("D:\\phone.txt");
OutputStream os = new BufferedOutputStream(new FileOutputStream(file));
BufferedWriter bw=new BufferedWriter(new OutputStreamWriter(os));
for(int i=0; i & 2000000; i++)
bw.write(bulidPhone());
bw.newLine();
bw.close();
os.close();
//生成字符串
private String bulidPhone()
Long lo = new Random().nextLong();
return String.valueOf(lo);
* @Title: readTxt1
* @Description: 使用常规的jdk的io解析输出文件数据
* @throws IOException
public void readTxt1() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
Reader in = new FileReader(file);
BufferedReader br = new BufferedReader(in);
while(br.ready())
//System.out.println(br.readLine());
br.readLine();
in.close();
br.close();
long end = System.currentTimeMillis();
System.out.println("readTxt1方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
* @Title: readTxt2
* @Description: 使用Scanner扫面文件解析文件数据
* @throws IOException
public void readTxt2() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
InputStream is = new FileInputStream(file);
Scanner scan = new Scanner(is,"UTF-8");
while(scan.hasNextLine())
//System.out.println(scan.nextLine());
scan.nextLine();
//scan.next();
is.close();
scan.close();
long end = System.currentTimeMillis();
System.out.println("readTxt2方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
* @Title: readTxt3
* @Description: 使用mons.io.FileUtils，apache工具类解析文件
* @throws IOException
public void readTxt3() throws IOException
long start = System.currentTimeMillis();
File file = new File("D:\\phone.txt");
LineIterator it = FileUtils.lineIterator(file, "UTF-8");
while(it.hasNext())
it.next();
it.close();
long end = System.currentTimeMillis();
System.out.println("readTxt3方法，使用内存="+(Runtime.getRuntime().totalMemory()-Runtime.getRuntime().freeMemory())+",使用时间毫秒="+(end-start));
运行结果如下：
通过分析比较：
1.apache的api处理时间最短，但是消耗的内存比jdk的io多。
2.scanner类表现的最差，销售内存高，时间久。
3.传统的jdk的io处理时间稍长，内存消耗低。
你这三段代码根本就没可比性。why?
浏览: 36140 次
来自: 南京
你这个根本就不对，我遍历了5遍，每次的到的count结果都不一 ...
spiniper 写道你这三段代码根本就没可比性。why?
你这三段代码根本就没可比性。
不错哦 给个赞
zx_code 写道郑州蘑菇云 写道为什么必须要加入呢？直接使 ...
(window.slotbydup=window.slotbydup || []).push({
id: '4773203',
container: s,
size: '200,200',
display: 'inlay-fix'选择Java大数据，挑战年薪三十万！
选择Java大数据，挑战年薪三十万！
作为中国官方重点扶持的战略性新兴产业，随着大数据产业政策的不断出台，我国大数据发展风生水起、成绩斐然。
大数据被认为是“未来的新石油”，在社会生产、流通、分配、消费活动以及经济运行机制等方面发挥着重要的作用。
近年来在国家政策支持和各方面的努力下，我国大数据产业循序发展，应用不断深化，大数据已经成为当今经济社会领域倍受关注的热点之一。“十三五”时期是我国全面建成小康社会的决胜阶段，全球新一代信息技术产业发展正处于加速变革期，国内市场应用需求处于爆发期，我国大数据产业迎来了重要的发展时刻。
财政大数据包含：民政大数据、食品大数据、卫生大数据、公安大数据等等
企业大数据包含：财务大数据、中小企业大数据等等
垂直行业大数据包含：大数据电视、大数据平台、金融大数据等等
Java/大数据入行的门槛高么？
回答这个问题之前，我们先来看一段对话
我要白富美，我要高薪
你好老师,我想问下现在从事大数据相关的行业是不是有点晚了，现在大数据这块就业就是开发吗？市场需求大吗？
现在学不晚，大数据人才供不应求
我要白富美，我要高薪
但是从智联搜大数据也就是就是几千个岗位
这个职位大部分行业都需要，市场、营销、运营相关的需求很多。大数据不是职位，你要搜数据分析师、大数据工程师、算法工程师、数据建模师
我要白富美，我要高薪
哦，这样啊
我要白富美，我要高薪
那请问 ，大数据开发工程师薪资怎么样？在北上广呢?
这个根据你的专业能力决定，最主要的还是看你项目实战经验如何，你可以看下这篇文章
https://mp./s/4wMC-0zPyvxXOUzDlzL4ag
北京提供的大数据相关职位基本占到了全国的40%以上，是最多的，上海也超过了20%
(数据来源：LinkedIn：2017年中国互联网最热职位人才库报告)
我要白富美，我要高薪
我底子很差 做数据分析师好像没戏哈哈，高数学的都忘记了,自己做算法开发没戏
数学往后学比较重要，入门用到了再去补吧.很多算法不需要知道原理，刚开始知道怎么用就可以了.
我要白富美，我要高薪
嗯 但是这样 面试人家一问 就露馅了 ，用入门的人的公司多吗？
A：入门理解业务场景和掌握分析方法很重要，工具是其次，数学再次之。
现在，让我们再回到到第一个问题：现在学大数据晚吗？我来细细给你讲一下
我们可以从三个方面来回答这个问题
大数据是否火热
经过10年的发展，大数据的相关技术已近十分成熟，已近退出了新兴技术的范畴。其实，早在2013年5月，麦肯锡全球研究所发布了一份名为《颠覆性技术：技术进步改变生活、商业和全球经济》的研究报告。
报告确认的未来12种新兴技术，有望在2025年带来14万亿至33万亿美元的经济效益。令人惊讶的是，最为热门的大数据技术也未被列入其中。麦肯锡专门解释称，大数据技术已成为这些可能改变世界格局的12项技术中许多技术的基石，包括移动互联网、知识工作自动化、物联网、云计算、先进机器人、自动汽车、基因组学等都少不了大数据应用。
所以，大数据应用不存在所谓“过热”和“虚火”的问题，事实恰恰相反，伴随着大数据技术的成熟，大数据应用的普及和发展才刚刚开始，我们预计未来10年，甚至更长一段时间都是大数据黄金发展阶段，相关的行业将引来巨大的发展机遇。
大数据相关职位需求多么？
不管是国内还是国外，大数据相关的人才都是供不应求的局面。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业还需要150万位能够提出正确问题、运用大数据分析结果的大数据相关管理人才。
入行的时间
这个问题其实是没有标准答案的，取决于你的专业基础和要从事的职位。
以数据分析师为例，先看一下国内知名互联网数据分析师的招聘要求：
1. 计算机、统计学、数学等相关专业本科及以上学历；
2. 具有深厚的统计学、数据挖掘知识，熟悉数据仓库和数据挖掘的相关技术，能够熟练地使用SQL；
3. 三年以上具有海量数据挖掘、分析相关项目实施的工作经验，参与过较完整的数据采集、整理、分析和建模工作；
4. 对商业和业务逻辑敏感，熟悉传统行业数据挖掘背景、了解市场特点及用户需求，有互联网相关行业背景，有网站用户行为研究和文本挖掘经验尤佳；
5. 具备良好的逻辑分析能力、组织沟通能力和团队精神；
6. 富有创新精神，充满激情，乐于接受挑战
前三个属于硬件要求，一般而言，有专业基础(计算机、统计学、数学等相关专业)入行更为轻松一些，对于非专业背景的同学，入行的时间可能需要的更长，建议给自己预留6-12月的时间。
在职业规划这个问题上有位哲学家说过，最重要的人际关系就是自己和自己的关系，知道自己要什么，不要什么。
在转行的问题上也是一样。 有人会说，转行是让自己之前几年的经验积累全都作废了，其实社会经验和人生理念是不管改到哪一行都能发挥效用的。而之前的人际关系也是属于“山不转水转”的问题，你很难说哪一类人际关系是有用的，哪一类是没有用——基于这个道理，应该统统视作为有用的。
不怕失去，才可能会有更多收获。只要有明确的发展规划，当然应该义无反顾地去投入新的开始。人生的机会并不多，即使你已经到了30岁，对大多数人来说，只是职业生涯的前半部分，完全不必缩头缩脑患得患失。
ITSTAR有着非常良好的口碑，以及完整的精选课程体系，高度专注大数据。 ITSTAR开发项目全部来自于合作的企业真实的项目。
为使学员更快的进入到企业开发的项目之中， ITSTAR以企业产品为案例，越来越多的学员从中受益，到名企拿到了高薪。为此8月25日-8月31日，ITSTAR为广大程序员开设高薪就业课程：
此次讲座分两个批次：
零基础到初级大数据工程师；
适合人群：小白新手、初级大数据工程师
中高级大数据批次；
适合人群：1-3年大数据工程师
扫码即可获得价值399元一节的
大数据直播课免费权限
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点