我正在研究一个java应用程序,它的工作是创建和保存XML(大型).我得到的样本是300 MB XML文件.

该应用程序旨在从数据库中收集批量数据并以XML格式保存.该应用程序由于其大量的IO和内存使用量而被设计为处理MAX 3这样的并行请求.

现在的要求是使其最多可并行处理50个这样的请求.当前应用程序使用XMLbean创建XML,然后将其保存到文件系统.该应用程序在weblogic服务器上公开为Web服务(它位于64位操作系统上,Java MAX堆大小为4 GB).

我需要你的意见：

1)是否有一个与XSD一起使用的XML API,可用于以最小的开销创建200-200 MB的大型XML？ XMLbean对我们来说很好,但是有什么东西可以更好地处理它吗？

2)将它保存到文件系统的最佳和最有效的内存方式是什么？ – 我正在考虑将当前的编写器更改为bufferedWriter,并在物理写入磁盘之前将其保存到内存中. – 增加它会有任何副作用吗？

3)如果对技术选择和服务器等没有限制 – 什么是理想的解决方案！

编辑1#数据库访问速度很快(约占总时间的5％). XML的创建很慢(占用80％).节省它需要15％(但有很多改进,我看到我可以这样做,所以我并不担心这一点). – 谢谢路易斯.

解决方法:

我有一个类似的问题.服务器在XML文件中使用JDOM编写数据.多年来,这些数据越来越大,服务器越来越慢,内存使用量也越来越大.原因如下：

服务器在大哈希表和列表中累积数据.在作业结束时,他在内存中创建了带有JDOM的XML文档,而不是将其写入磁盘.

我改变了XML编写以使用流方法和XMLStreamWriter

唯一的问题是,写入的xml文件不是很漂亮.这可以通过IndentingXMLStreamWriter解决

代码示例如下：

FileOutputStream fileOutputStream = new FileOutputStream(outXmlFile);
XMLStreamWriter defaultWriter = factory.createXMLStreamWriter(fileOutputStream, encoding);
IndentingXMLStreamWriter writer = new IndentingXMLStreamWriter(defaultWriter);
writer.setIndentStep(" ");
try
{
writer.writeStartDocument(encoding, "1.0");
if (stylesheet != null)
{
writer.writeProcessingInstruction("xml-stylesheet", "type='text/xsl' href='" + stylesheet + "'");
writer.writeCharacters("\n");
}
writer.writeStartElement(TAG_ROOT);
writer.writeAttribute(TAG_OBJECT_TYPE, rootObject.getClass().getSimpleName());
...
writer.writeEndElement();
writer.writeEndDocument();
}
finally
{
writer.flush();
writer.close();
fileOutputStream.close();
}