javascript - 使用 javascript/node.js 读取 MNIST 数据集

Question

我正在尝试从这个来源解码数据集:http://yann.lecun.com/exdb/mnist/

底部有“非常简单”的IDX文件类型的描述，但我看不懂。

我想要实现的是:

var imagesFileBuffer = fs.readFileSync(__dirname + '/train-images-idx3-ubyte');
var labelFileBuffer  = fs.readFileSync(__dirname + '/train-labels-idx1-ubyte');
var pixelValues      = {};

变魔术

pixelValues 现在是这样的:

// {
//   "0": [0,0,200,190,79,0... for all 784 pixels ... ],
//   "4": [0,0,200,190,79,0... for all 784 pixels ... ],

等数据集中的所有图像条目。我试图找出二进制文件的结构，但失败了。

Answer 1

我意识到在我的 pixelValues 对象结构中会有重复的键，所以我制作了一个包含它的对象数组。以下代码将创建我想要的结构:

var dataFileBuffer  = fs.readFileSync(__dirname + '/train-images-idx3-ubyte');
var labelFileBuffer = fs.readFileSync(__dirname + '/train-labels-idx1-ubyte');
var pixelValues     = [];

// It would be nice with a checker instead of a hard coded 60000 limit here
for (var image = 0; image <= 59999; image++) { 
    var pixels = [];

    for (var x = 0; x <= 27; x++) {
        for (var y = 0; y <= 27; y++) {
            pixels.push(dataFileBuffer[(image * 28 * 28) + (x + (y * 28)) + 15]);
        }
    }

    var imageData  = {};
    imageData[JSON.stringify(labelFileBuffer[image + 8])] = pixels;

    pixelValues.push(imageData);
}

pixelValues 的结构现在是这样的:

[
    {5: [28,0,0,0,0,0,0,0,0,0...]},
    {0: [0,0,0,0,0,0,0,0,0,0...]},
    ...
]

有 28x28=784 个像素值，都在 0 到 255 之间变化。

要渲染像素，请像上面那样使用我的 for 循环，渲染左上角的第一个像素，然后向右渲染。