这是一种内联 w/Writing a large ResultSet to a File但有问题的文件是 Excel 文件。

我正在使用 Apache POI 库编写一个 Excel 文件，其中包含从 ResultSet 对象中检索到的大型数据集。数据范围可以从几千条记录到大约 100 万条；不确定这如何转换为 Excel 格式的文件系统字节。

以下是我编写的测试代码，用于检查编写如此大的结果集所花费的时间以及对 CPU 和内存的性能影响。

protected void writeResultsetToExcelFile(ResultSet rs, int numSheets, String fileNameAndPath) throws Exception {

    BufferedOutputStream bos = new BufferedOutputStream(new FileOutputStream(fileNameAndPath));
    int numColumns = rs.getMetaData().getColumnCount();

    Workbook wb = ExcelFileUtil.createExcelWorkBook(true, numSheets);
    Row heading = wb.getSheetAt(0).createRow(1);

    ResultSetMetaData rsmd = rs.getMetaData();

    for(int x = 0; x < numColumns; x++) {
        Cell cell = heading.createCell(x+1);
        cell.setCellValue(rsmd.getColumnLabel(x+1));
    }

    int rowNumber = 2;
    int sheetNumber = 0;

    while(rs.next()) {

        if(rowNumber == 65001) {
            log("Sheet " + sheetNumber + "written; moving onto to sheet " + (sheetNumber + 1));
            sheetNumber++;
            rowNumber = 2;
        }

        Row row = wb.getSheetAt(sheetNumber).createRow(rowNumber);
        for(int y = 0; y < numColumns; y++) {
            row.createCell(y+1).setCellValue(rs.getString(y+1));
            wb.write(bos);
        }

        rowNumber++;
    }

    //wb.write(bos);

    bos.close();
}

上面的代码运气不佳。创建的文件似乎增长迅速(每秒约 70Mb)。所以我在大约 10 分钟后停止执行(当文件达到 7Gb 时杀死 JVM)并尝试在 Excel 2007 中打开文件。我打开它的那一刻，文件大小变为 8k(!)，只有标题和第一个行被创建。不知道我在这里缺少什么。

有什么想法吗？

最佳答案

使用 SXSSF poi 3.8

package example;

import java.io.FileInputStream;
import java.io.FileOutputStream;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.streaming.SXSSFSheet;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

public class SXSSFexample {


    public static void main(String[] args) throws Throwable {
        FileInputStream inputStream = new FileInputStream("mytemplate.xlsx");
        XSSFWorkbook wb_template = new XSSFWorkbook(inputStream);
        inputStream.close();

        SXSSFWorkbook wb = new SXSSFWorkbook(wb_template); 
        wb.setCompressTempFiles(true);

        SXSSFSheet sh = (SXSSFSheet) wb.getSheetAt(0);
        sh.setRandomAccessWindowSize(100);// keep 100 rows in memory, exceeding rows will be flushed to disk
    for(int rownum = 4; rownum < 100000; rownum++){
        Row row = sh.createRow(rownum);
        for(int cellnum = 0; cellnum < 10; cellnum++){
            Cell cell = row.createCell(cellnum);
            String address = new CellReference(cell).formatAsString();
            cell.setCellValue(address);
        }

    }


    FileOutputStream out = new FileOutputStream("tempsxssf.xlsx");
    wb.write(out);
    out.close();
}

}

需要:

• poi-ooxml-3.8.jar，
• poi-3.8.jar，
• poi-ooxml-schemas-3.8.jar，
• stax-api-1.0.1.jar，
• xml-apis-1.0.b2.jar，
• xmlbeans-2.3.0.jar，
• commons-codec-1.5.jar，
• dom4j-1.6.1.jar

Useful link

关于java - 使用 POI 将大型结果集写入 Excel 文件，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/7274076/