linux - 在 Golang 中读取文件时如何跳过文件系统缓存？

Question

假设文件Foo.txt的内容如下。

Foo Bar Bar Foo

考虑以下短程序。

package main

import "syscall"
import "fmt"


func main() {
    fd, err := syscall.Open("Foo.txt", syscall.O_RDONLY, 0)
    if err != nil {
        fmt.Println("Failed on open: ", err)
    }
    data := make([]byte, 100)
    _, err = syscall.Read(fd, data)
    if err != nil {
        fmt.Println("Failed on read: ", err)
    }
    syscall.Close(fd)
}

当我们运行上面的程序时，我们没有得到任何错误，这是正确的行为。

现在，我将 syscall.Open 行修改为以下内容。

fd, err := syscall.Open("Foo.txt", syscall.O_RDONLY | syscall.O_SYNC | syscall.O_DIRECT, 0)

当我再次运行该程序时，我得到以下(不希望的)输出。

Failed on read:  invalid argument

我怎样才能正确传递由 open man page 指定的标志 syscall.O_SYNC 和 syscall.O_DIRECT跳过文件系统缓存？

请注意，我直接使用 syscall 文件接口(interface)而不是 os 文件接口(interface)，因为我找不到将这些标志传递给 提供的函数的方法code>os，但我对使用 os 的解决方案持开放态度，前提是它们可以正常工作以在读取时禁用文件系统缓存。

另请注意，我在 Ubuntu 14.04 上运行，文件系统为 ext4。

---

更新:我尝试在下面的代码中使用@Nick Craig-Wood 的包。

package main

import "io"
import "github.com/ncw/directio" 
import "os"
import "fmt"


func main() {
    in, err := directio.OpenFile("Foo.txt", os.O_RDONLY, 0666)
    if err != nil {
        fmt.Println("Error on open: ", err)
    }

    block := directio.AlignedBlock(directio.BlockSize)
    _, err = io.ReadFull(in, block)
    if err != nil {
        fmt.Println("Error on read: ", err)
    }
}

输出如下

Error on read:  unexpected EOF

Answer 1

您可能会喜欢我的 directio package我正是为此目的而制作的。

来自网站

这是 Go 语言的库，可以在所有支持的 Go 操作系统(openbsd 和 plan9 除外)下使用 Direct IO。

直接 IO 与磁盘进行 IO 操作，而无需在操作系统中缓冲数据。当您正在读取或写入大量您不想填满操作系统缓存的数据时，它很有用。

包文档请看这里

http://go.pkgdoc.org/github.com/ncw/directio