go - 有效地列出具有很多条目的目录中的文件

Question

我需要递归地读取一个目录结构，但我还需要在读取完每个目录的所有条目后执行一个额外的步骤。因此，我需要编写自己的递归逻辑(并且不能使用简单的 filepath.Walk 例程)。但是，ioutil.ReadDir 和 filepath.Glob 例程仅返回 slice 。如果我正在插入 ext4 或 xfs 的限制，并且有一个包含数十亿个文件的目录怎么办？我希望 golang 有一个函数，该函数通过 channel 而不是排序的 slice 返回一系列未排序的 os.FileInfo(或者，甚至更好，原始字符串)。在这种情况下，我们如何有效地读取文件条目？

上面引用的所有函数似乎都依赖于 os/dir_unix.go 中的 readdirnames，而且，出于某种原因，它只是在看起来像生成 gothread 并将值推送到 channel 中会很容易。这样做可能有合理的逻辑，但不清楚它是什么。我是 Go 的新手，所以我也很容易错过一些对其他人来说显而易见的原则。

为了方便起见，这是源代码:

func (f *File) readdirnames(n int) (names []string, err error) {
    // If this file has no dirinfo, create one.
    if f.dirinfo == nil {
        f.dirinfo = new(dirInfo)
        // The buffer must be at least a block long.
        f.dirinfo.buf = make([]byte, blockSize)
    }
    d := f.dirinfo

    size := n
    if size <= 0 {
        size = 100
        n = -1
    }

    names = make([]string, 0, size) // Empty with room to grow.
    for n != 0 {
        // Refill the buffer if necessary
        if d.bufp >= d.nbuf {
            d.bufp = 0
            var errno error
            d.nbuf, errno = fixCount(syscall.ReadDirent(f.fd, d.buf))
            if errno != nil {
                return names, NewSyscallError("readdirent", errno)
            }
            if d.nbuf <= 0 {
                break // EOF
            }
        }

        // Drain the buffer
        var nb, nc int
        nb, nc, names = syscall.ParseDirent(d.buf[d.bufp:d.nbuf], n, names)
        d.bufp += nb
        n -= nc
    }
    if n >= 0 && len(names) == 0 {
        return names, io.EOF
    }
    return names, nil
}

Answer 1

ioutil.ReadDir 和 filepath.Glob 只是读取目录条目的便利函数。

可以直接使用Readdir批量读取目录条目或 Readdirnames方法，如果您提供 n 参数 > 0。

对于像读取目录条目这样基本的事情，不需要添加 goroutine 和 channel 的开销，并且还提供了返回错误的替代方法。如果您愿意，您始终可以使用自己的 goroutine 和 channel 模式包装批处理调用。