c++ - 填充 std::vector 时分配错误

Question

我正在将三个大型二进制文件(每个 c.180Mb)读取到一个 std::vector 中，如下所示:

m_ifStream.open("myfile.dat", std::ios::binary | std::ios::in);

if (m_ifStream)
{
    //Obtain input stream length
    m_ifStream.seekg (0, ios::end);
    streamLength = (size_t)(m_ifStream.tellg());
    m_ifStream.seekg (0, ios::beg);

    //Reserve doesn't work around the problem, may be more efficient though...
    //m_buffer = new vector<unsigned char>();
    //m_buffer->reserve(streamLength);

    //Next line sometimes results in bad_alloc when reading a large file
    m_buffer = new vector<unsigned char>((std::istreambuf_iterator<char>(m_ifStream)), (std::istreambuf_iterator<char>()));
}

填充 vector 的调用失败，抛出“错误分配”异常。

读取第一个文件时填充有时会失败；在其他时候，它会在第二次或第三次失败。我正在使用 Visual Studio 2010 并将我的代码编译为 32 位，它应该能够寻址高达 2Gb。我在一台有 16Gb RAM 的机器上运行，至少有 10Gb 空闲，所以可用内存不足不是问题。错误发生在调试和发布配置中。

使用 reserve 预分配内存没有帮助。

vector 的 max_size 属性返回 2^32，因此它似乎不是容器中的限制。

该代码适用于大量合并后大小 > 180Mb 的较小文件，这让我认为我的代码正在触及边界。

是否有一种公认的方法可以从大型输入文件填充 vector ？我想避免遍历文件中的每个字节，并认为使用 istreambuf_iterator 会针对这种操作进行优化。

Answer 1

如果您想调用reserve()对实际阅读有任何影响，你应该不创建一个临时的std::vector<unsigned char>并将此临时分配给目标 vector 。相反，你`使用类似的东西

m_buffer->assign(std::istreambuf_iterator<char>(m_ifStream),
                 std::istreambuf_iterator<char>());

在不保留的情况下读取文件可能会以某种方式使您的内存碎片化，但我不希望程序用完像您这样的小文件的内存(几 GB 的文件可以被认为是大文件；160MB 是真的很大)。如果您知道文件的大小，最好使用 read() 读取文件。成员，虽然:

m_buffer->resize(streamLength);
m_ifStream.read(reinterpret_cast<char*>(m_buffer->data()), streamLength);

我个人的猜测是 std::bad_alloc异常实际上是由确定文件大小的错误引起的。例如，我不认为 std::size_t必须足够大才能容纳 std::streamsize .此外，没有尝试验证任何这些操作是否成功，如果无法打开流，seekg()将返回 pos_type(-1)这将转化为相当大的 std::size_t .