使用MySQL流式传输大型结果集

  • Z时代
  • 2024-01-10
  • 分类：问答

我正在开发一个使用大型MySQL表的spring应用程序。加载大表时，我得到一个OutOfMemoryException，因为驱动程序试图将整个表加载到应用程序内存中。

我尝试使用

statement.setFetchSize(Integer.MIN_VALUE);

但是然后我打开的每个ResultSet都挂了close(); 在网上查看时，我发现发生这种情况是因为它尝试在关闭ResultSet之前尝试加载所有未读的行，但事实并非如此，因为我这样做是：

ResultSet existingRecords = getTableData(tablename);
try {
    while (existingRecords.next()) {
        // ...
    }
} finally {
    existingRecords.close(); // this line is hanging, and there was no exception in the try clause
}

小表（3行）也会发生挂起，如果我不关闭RecordSet（在一种方法中发生），则会connection.close()挂起。

挂起的堆栈跟踪：

SocketInputStream.socketRead0(FileDescriptor, byte[], int, int, int) line: not available [native method]

SocketInputStream.read(byte[], int, int) line: 129

ReadAheadInputStream.fill(int) line: 113

ReadAheadInputStream.readFromUnderlyingStreamIfNecessary(byte[], int, int) line: 160

ReadAheadInputStream.read(byte[], int, int) line: 188

MysqlIO.readFully(InputStream, byte[], int, int) line: 2428 MysqlIO.reuseAndReadPacket(Buffer, int) line: 2882

MysqlIO.reuseAndReadPacket(Buffer) line: 2871

MysqlIO.checkErrorPacket(int) line: 3414

MysqlIO.checkErrorPacket() line: 910

MysqlIO.nextRow(Field[], int, boolean, int, boolean, boolean, boolean, Buffer) line: 1405

RowDataDynamic.nextRecord() line: 413

RowDataDynamic.next() line: 392 RowDataDynamic.close() line: 170

JDBC4ResultSet(ResultSetImpl).realClose(boolean) line: 7473 JDBC4ResultSet(ResultSetImpl).close() line: 881 DelegatingResultSet.close() line: 152

DelegatingResultSet.close() line: 152

DelegatingPreparedStatement(DelegatingStatement).close() line: 163

(This is my class) Database.close() line: 84

回答：

仅设置获取大小不是正确的方法。javadocStatement#setFetchSize()已经声明以下内容：

向JDBC驱动程序提示应从数据库中获取的行数

驱动程序实际上可以自由地应用或忽略提示。一些驱动程序忽略它，一些驱动程序直接应用它，一些驱动程序需要更多参数。MySQL JDBC驱动程序属于最后一类。如果查看MySQL JDBC驱动程序文档，将看到以下信息（向下滚动约2/3，直到标题ResultSet为止）：

要启用此功能，你需要按以下方式创建一个Statement实例：

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

请阅读文档的整个部分，它也描述了这种方法的注意事项。这是一个相关的引用：

这种方法有一些警告。你必须先读取（或关闭）结果集中的所有行，然后才能对连接发出任何其他查询，否则将引发异常。

（…）

如果该语句在事务范围内，则在事务完成时释放锁（这意味着该语句需要先完成）。与大多数其他数据库一样，在读取该语句上所有未决的结果或关闭该语句的活动结果集之前，该语句是不完整的。

如果那不能解决OutOfMemoryError（not Exception）问题，那么问题可能是你将所有数据存储在Java内存中，而不是在数据输入后立即进行处理。这可能需要对代码进行更多更改，也许完全重写。在此之前，我已经回答了类似的问题。

以上是 使用MySQL流式传输大型结果集 的全部内容， 来源链接： utcz.com/qa/403125.html

回到顶部