2024年4月26日发(作者：)

.

java千万级别数据生成文件思路和优化

博客分类：

• java大数据处理

一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是

用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去.

程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个

xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的

测试,然后问题就来了....由于程序使用的局点数据量巨大，需要生成xml文件的客户资料接

近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去，

程序在这样的大数据量下面偶尔会有崩溃.

最近几天现场催的比较紧，最近抽空把这个问题处理了一下,在解决问题的过

程中我把解决的步骤和方法记录了下来，正好和大家共享一下

现场提的问题概况：

数据量：生成xml，每个文件100W+ 条的数据

内存控制：最好不要超过512M

问题详情：在处理70W左右的时候内存溢出

.

一、先来看一下程序要生成的xml文件的结构

Xml代码

1.

2. 1

3. 12

4. 03

5. 004

6. 5

7. 0006

8. 1000000

9.

10.

11.