在Node.js中解析大型JSON文件

Z时代
2024-01-10
分类：问答

我有一个文件，该文件以JSON形式存储许多JavaScript对象，我需要读取该文件，创建每个对象并对其进行处理（以我为例将其插入到db中）。JavaScript对象可以表示为以下格式：

[{name: 'thing1'},
....
{name: 'thing999999999'}]

或

{name: 'thing1'}         // <== My choice.
...
{name: 'thing999999999'}

请注意，...表示很多JSON对象。我知道我可以将整个文件读入内存，然后JSON.parse()像这样使用：

fs.readFile(filePath, 'utf-8', function (err, fileContents) {
  if (err) throw err;
  console.log(JSON.parse(fileContents));
});

但是，该文件可能确实很大，我更喜欢使用流来完成此操作。我在流中看到的问题是，文件内容随时可能被分解成数据块，那么如何JSON.parse()在此类对象上使用？

理想情况下，每个对象将被读取为一个单独的数据块，但是我不确定 如何做到这一点 。

var importStream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
importStream.on('data', function(chunk) {
    var pleaseBeAJSObject = JSON.parse(chunk);           
    // insert pleaseBeAJSObject in a database
});
importStream.on('end', function(item) {
   console.log("Woot, imported objects into the database!");
});*/

注意，我希望防止将整个文件读入内存。时间效率对我来说并不重要。是的，我可以尝试一次读取多个对象并一次插入所有对象，但这是性能上的调整-

我需要一种方法，确保无论文件中包含多少个对象，都不会导致内存过载。

我可以选择使用，FormatA或者选择FormatB其他方式，只需在您的答案中指定即可。谢谢！

回答：

要逐行处理文件，只需要将文件的读取与作用于该输入的代码分离开。您可以通过缓冲输入直到碰到换行符来完成此操作。假设每行有一个JSON对象（基本上是格式B）：

var stream = fs.createReadStream(filePath, {flags: 'r', encoding: 'utf-8'});
var buf = '';
stream.on('data', function(d) {
    buf += d.toString(); // when data is read, stash it in a string buffer
    pump(); // then process the buffer
});
function pump() {
    var pos;
    while ((pos = buf.indexOf('\n')) >= 0) { // keep going while there's a newline somewhere in the buffer
        if (pos == 0) { // if there's more than one newline in a row, the buffer will now start with a newline
            buf = buf.slice(1); // discard it
            continue; // so that the next iteration will start with data
        }
        processLine(buf.slice(0,pos)); // hand off the line
        buf = buf.slice(pos+1); // and slice the processed data off the buffer
    }
}
function processLine(line) { // here's where we do something with a line
    if (line[line.length-1] == '\r') line=line.substr(0,line.length-1); // discard CR (0x0D)
    if (line.length > 0) { // ignore empty lines
        var obj = JSON.parse(line); // parse the JSON
        console.log(obj); // do something with the data here!
    }
}