c# - 流式传输到 UTF8 字符串，不带 byte[]

Question

我有一个流，其接下来的 N 个字节是 UTF8 编码的字符串。我想以最少的开销创建该字符串。

这个有效:

var bytes = new byte[n];
stream.Read(bytes, 0, n); // my actual code checks return value
var str = Encoding.UTF8.GetString(bytes);

在我的基准测试中，我看到大量时间以 byte[] 的形式收集垃圾临时工。如果我能摆脱这些，我就可以有效地将堆分配减半。

UTF8Encoding 类没有处理流的方法。

如果有帮助，我可以使用不安全的代码。我不能重复使用 byte[]缓冲区没有 ThreadLocal<byte[]>这似乎引入了比减轻更多的开销。我确实需要支持 UTF8(ASCII 不会削减它)。

这里有我缺少的 API 或技术吗？

Answer 1

如果使用可变长度的 UTF8 编码，则无法避免分配 byte[]。因此，只有在读取所有这些字节后才能确定结果字符串的长度。

让我们看看 UTF8Encoding.GetString方法:

public override unsafe String GetString(byte[] bytes, int index, int count)
{
    // Avoid problems with empty input buffer
    if (bytes.Length == 0) return String.Empty;

    fixed (byte* pBytes = bytes)
        return String.CreateStringFromEncoding(
            pBytes + index, count, this);
}

它调用 String.CreateStringFromEncoding方法首先获取结果字符串长度，然后分配它并用字符填充它而无需额外分配。 UTF8Encoding.GetChars也不分配任何内容。

unsafe static internal String CreateStringFromEncoding(
    byte* bytes, int byteLength, Encoding encoding)
{
    int stringLength = encoding.GetCharCount(bytes, byteLength, null);

    if (stringLength == 0)
        return String.Empty;

    String s = FastAllocateString(stringLength);
    fixed (char* pTempChars = &s.m_firstChar)
    {
        encoding.GetChars(bytes, byteLength, pTempChars, stringLength, null);
    }
}

如果您将使用固定长度的编码，那么您可以直接分配一个字符串并在其上使用Encoding.GetChars。但是多次调用 Stream.ReadByte 会降低性能，因为没有 Stream.Read 接受 byte* 作为参数。

const int bufferSize = 256;

string str = new string('\0', n / bytesPerCharacter);
byte* bytes = stackalloc byte[bufferSize];

fixed (char* pinnedChars = str)
{
    char* chars = pinnedChars;

    for (int i = n; i >= 0; i -= bufferSize)
    {
        int byteCount = Math.Min(bufferSize, i);
        int charCount = byteCount / bytesPerCharacter;

        for (int j = 0; j < byteCount; ++j)
            bytes[j] = (byte)stream.ReadByte();

        encoding.GetChars(bytes, byteCount, chars, charCount);

        chars += charCount;
    }
}

所以您已经使用了更好的方法来获取字符串。在这种情况下唯一可以做的就是实现 ByteArrayCache 类。它应该类似于 StringBuilderCache .

public static class ByteArrayCache
{
    [ThreadStatic]
    private static byte[] cachedInstance;

    private const int maxArraySize = 1024;

    public static byte[] Acquire(int size)
    {
        if (size <= maxArraySize)
        {
            byte[] instance = cachedInstance;

            if (cachedInstance != null && cachedInstance.Length >= size)
            {
                cachedInstance = null;
                return instance;
            }
        }

        return new byte[size];
    }

    public static void Release(byte[] array)
    {
        if ((array != null && array.Length <= maxArraySize) &&
            (cachedInstance == null || cachedInstance.Length < array.Length))
        {
            cachedInstance = array;
        }
    }
}

用法:

var bytes = ByteArrayCache.Acquire(n);
stream.Read(bytes, 0, n);

var str = Encoding.UTF8.GetString(bytes);
ByteArrayCache.Release(bytes);