c# - 直接读取 C# 中的大型二进制文件而无需复制

Question

我正在寻找最有效/最直接的方法来完成这个简单的 C/C++ 操作:

void ReadData(FILE *f, uint16 *buf, int startsamp, int nsamps)
{
   fseek(f, startsamp*sizeof(uint16), SEEK_SET);
   fread(buf, sizeof(uint16), nsamps, f);
}

在 C#/.NET 中。 (为清楚起见，我忽略了返回值——生产代码会检查它们。)具体来说，我需要读取许多(可能是 10 到 100 的数百万)2 字节(16 位)“ushort”整数数据样本(固定格式，不需要解析)以二进制形式存储在磁盘文件中。 C 方式的优点在于它直接将样本读取到“uint16 *”缓冲区，无需 CPU 参与，也无需复制。是的，它可能是“不安全的”，因为它使用指向未知大小缓冲区的 void * 指针，但似乎应该有一个“安全的”.NET 替代方案。

在 C# 中完成此任务的最佳方法是什么？我环顾四周，遇到了一些提示(使用 FieldOffset 的“联合”、使用指针的“不安全”代码、编码)，但似乎没有一个适用于这种情况，不使用某种复制/转换。我想避免使用 BinaryReader.ReadUInt16()，因为它非常慢并且占用大量 CPU。在我的机器上，使用 ReadUInt16() 的 for() 循环与使用单个 Read() 将字节直接读入 byte[] 数组之间的速度大约相差 25 倍。对于非阻塞 I/O(在等待磁盘 I/O 时重叠“有用”处理)，该比率可能更高。

理想情况下，我想简单地将 ushort[] 数组“伪装”为 byte[] 数组，这样我就可以直接用 Read() 填充它，或者以某种方式让 Read() 直接填充 ushort[] 数组:

// DOES NOT WORK!!
public void GetData(FileStream f, ushort [] buf, int startsamp, int nsamps)
{
    f.Position = startsamp*sizeof(ushort);
    f.Read(buf, 0, nsamps);
}

但是没有接受 ushort[] 数组的 Read() 方法，只有 byte[] 数组。

这可以直接在 C# 中完成，还是我需要使用非托管代码或第三方库，或者我必须求助于 CPU 密集型逐样本转换？虽然“安全”是首选，但我可以使用“不安全”代码，或者使用 Marshal 的一些技巧，只是我还没有弄明白。

感谢您的指导!

---

[更新]

我想按照 dtb 的建议添加一些代码，因为 ReadArray 的示例似乎很少。这是一个非常简单的方法，没有显示错误检查。

public void ReadMap(string fname, short [] data, int startsamp, int nsamps)
{
    var mmf = MemoryMappedFile.CreateFromFile(fname);
    var mmacc = mmf.CreateViewAccessor();

    mmacc.ReadArray(startsamp*sizeof(short), data, 0, nsamps);
}

数据被安全地转储到您传递的数组中。您还可以为更复杂的类型指定一个类型。它似乎能够自行推断简单类型，但使用类型说明符时，它看起来像这样:

    mmacc.ReadArray<short>(startsamp*sizeof(short), data, 0, nsamps);

---

[更新2]

我想按照 Ben 的获胜答案的建议添加代码，以“基本”形式添加，与上面类似，以进行比较。这段代码已经过编译和测试，可以运行，而且速度很快。我直接在 DllImport 中使用 SafeFileHandle 类型(而不是更常见的 IntPtr)来简化事情。

[DllImport("kernel32.dll", SetLastError=true)]
[return:MarshalAs(UnmanagedType.Bool)]
static extern bool ReadFile(SafeFileHandle handle, IntPtr buffer, uint numBytesToRead, out uint numBytesRead, IntPtr overlapped);

[DllImport("kernel32.dll", SetLastError=true)]
[return:MarshalAs(UnmanagedType.Bool)]
static extern bool SetFilePointerEx(SafeFileHandle hFile, long liDistanceToMove, out long lpNewFilePointer, uint dwMoveMethod);

unsafe void ReadPINV(FileStream f, short[] buffer, int startsamp, int nsamps)
{
    long unused; uint BytesRead;
    SafeFileHandle nativeHandle = f.SafeFileHandle; // clears Position property
    SetFilePointerEx(nativeHandle, startsamp*sizeof(short), out unused, 0);

    fixed(short* pFirst = &buffer[0])
        ReadFile(nativeHandle, (IntPtr)pFirst, (uint)nsamps*sizeof(short), out BytesRead, IntPtr.Zero);
}

Answer 1

您可以使用 MemoryMappedFile .对文件进行内存映射后，您可以创建一个 View (即 MemoryMappedViewAccessor )，它提供 ReadArray<T> 。方法。此方法无需编码即可从文件中读取结构，并且适用于 ushort 等基本类型。