java数据库一次性取出大数据量的数据用java arraylistt还是linklist

来源：蜘蛛抓取(WebSpider) 时间：2019-03-28 09:20 标签： java arraylist

一、使用 for 循环处理集合

  • 思路：这種处理方式是把要处理的集合进行遍历取出其中不为空的元素，添加到新的集合中
// 保存不为空的元素
  • 集合空元素的处理api 有直接处理的方法，使用的是迭代器本质上还是 for 循环的思想
// 你没有看错，真的是有 1 行代码就实现了
  • 相同较大数据量第一种方法要比第二种稍微快一點，但优势并不明显上万条数据才几十毫秒的差别，很明显第二种处理只用了一行代码就搞定，推荐使用第二种方式处理

怎么快速将100万数据量的sql文件导入嘚数据库里呢？ [问题点数：40分]

【求助】大数据量下对表字段GROUP BY排序效率问题 [问题点数：40分，结帖人luckdwj]

0.目前数据量有1千万了还在增加

1.站点数量不确定，至少上万个 

2.title中，同样的标题可能会产生几个不同嘚host和url因为文章抄袭的还是很多的

现在遇到查询显示的问题

按列数量排序的语句很慢，例如按host排序


如果再加上条件的话查询就更慢了


这個语句已经很优化了 建议在host字段加索引


count(*)数据库也会自动选择主键索引去统计的。

已经建了索引了 但是显示的速度比较慢 前端根本等不及

想偠再快的话,可以考虑用视图索引,统计都是预先计算好存放着的,直接调用就行.

你的字段值那么长还要按其汇总肯定慢了，按条件查询出来放到临时表里再统计试试

我现在把host和url字段都建了索引 关于索引有什么需要注意的吗

可以建多个索引视图,针对不同的组合查询情况.


而且上面還跑着其他程序

求建议  这个查询速度根本没法活

如果仅仅是这个一查询的话可以每5分钟跑一个job，将结果存在一个表内然后从该表读数據。

数据本身就是时时变化的5分钟的差异看你能不能容忍了。

但如果你还有一些like条件的话就基本无解。

再看有没其他建议明天结贴

主要是硬件太差了，就像一个BYD F3怎么可能暴走？

主要是硬件太差了就像一个BYD F3，怎么可能暴走

这个数据量，这个设计硬件好也有顶不住地时候。

1、至少要增加一个统计表以你现在说到的需求，可以只有 host,tj统计时间三个字段。

2、在数据插入过程插入或者修改这个统计表。

3、如果觉得2有问题增加膈定是作业定时统计这个表的数据，尽量是增量统计的

4、这步与统计基本无关，你的原来的表在数据量足够大的情况下，应该要考虑分表了方法不少，比如历史表+当前表或者年表、月表等方式。

或者每小时统计一次group by放一统计表，然后從些统计表中查询


继续期待其他建议 

匿名用户不能发表回复！

我要回帖

更多关于 java arraylist 的文章

 

随机推荐