r - 将文本从多个连接附加到单个文件的最可靠方法是什么

Question

我看过很多questions关于 writing要归档，但我想知道打开文本文件、附加一些数据然后在您要从许多连接(即在并行计算情况下)写入时再次关闭它的最可靠方法是什么，并且不能保证每个连接何时要写入文件。

例如在下面的玩具示例中，它仅使用我桌面上的内核，它似乎工作正常，但我想知道如果写入时间变长并且写入文件的进程数增加，这种方法是否容易失败(尤其是在可能存在一些延迟的网络共享上)。

当可能有其他从属进程想要同时写入文件时，任何人都可以提出一种可靠、明确的方式来打开、写入然后关闭连接吗？

require(doParallel)
require(doRNG)

ncores <- 7
cl <- makeCluster( ncores , outfile = "" )
registerDoParallel( cl )

res <- foreach( j = 1:100 , .verbose = TRUE , .inorder= FALSE ) %dorng%{
    d <- matrix( rnorm( 1e3 , j ) , nrow = 1 )
    conn <- file( "~/output.txt" , open = "a" )
    write.table( d , conn , append = TRUE , col.names = FALSE )
    close( conn )
}

我正在寻找最好的方法来做到这一点，或者是否有最好的方法。也许 R 和 foreach自动处理我所说的写锁问题？

谢谢。

Answer 1

foreach 包不提供文件锁定机制，以防止多个工作人员同时写入同一个文件。这样做的结果将取决于您的操作系统和文件系统。当使用分布式文件系统(如 NFS)时，我会特别担心结果。

相反，我会更改您打开输出文件的方式以包含工作人员的进程 ID:

conn <- file( sprintf("~/output_%d.txt" , Sys.getpid()) , open = "a" )

如果需要，您可以在 foreach 循环返回后连接文件。

当然，如果您使用多台机器，您可能有两个具有相同进程 ID 的工作人员，因此您也可以在文件名中包含主机名，使用 Sys.info()[['nodename']] ， 例如。