r - parApply 中的错误处理(在 R 中，使用并行包)

Question

我正在尝试解决在尝试使用 parallel 包中的 parApply 函数时收到的以下消息:

Error in unserialize(node$con) : error reading from connection

以下是我正在做的模型:

c0<-makeCluster(16,outfile='');clusterEvalQ(c0,library(survival));
aa <- array(rexp(1e4),c(100,50,2));
bb<-parApply(c0,aa,1,function(ii) {
  oo<-try(summary(coxph(Surv(c(ii))~gl(2,50)))$coef[1,]);
  if(class(oo)[1]=='try-error') rep(NA,5) else oo
});

... 除了它不会产生错误。我从 parApply 内部调用的实际函数是我自己编写的一个巨大的函数，它太长而无法在此处发布。但我并不是要找人调试我的功能。我试图找出在哪里可以找到更详细的调试信息，以及我必须扼杀谁/什么才能让 try() 实现其既定目的。

函数确实与标准apply() 和aaply(...,.parallel=FALSE) 一起工作，但不是aaply(...,parallel=TRUE)。

我在屏幕日志中看到的唯一内容(除了伴随我使用的包加载的正常警告消息外)是Execution halted。

当我执行 stopCluster(c0) 时，我得到以下附加输出:

serialize(data, node$con) 错误:忽略 SIGPIPE 信号

有人知道还能去哪里找吗？我在 CentOS 5.4 版(最终版)上运行 R 2.15.1。尽管我尝试使用 try() 捕获它们，但是否存在可以向上传播的错误类型？ parallel 中是否有一些超时选项我可以设置以使工作节点更有耐心？

---

首先，我开始使用 makeCluster(16,outfile='',type='FORK') 而不是默认的 SOCK 类型集群。这变得更加稳定了，因为 FORK 克隆了整个环境，而我不记得手动导出每个依赖项和/或因为(这里不确定)FORK 不必通过环回端口发送标记化数据？

无论如何，在某些情况下，从连接读取错误 会返回。我被不熟悉的问题域和模糊的错误消息分散了注意力，忘记了同样的故障排除启发式方法一如既往地适用于此:

• 相同的数据是否总是会产生问题？ 对我来说，是的，而且它总是发生在数据集的同一区域。
• 重现问题所需的该数据集的最少特征是什么？ 输入数据的连续分割揭示了导致问题的确切列。直接对该向量调用目标函数也触发了问题，这次是在正常的 R 环境中。逐行单步执行目标函数会揭示失败的地方。

事实证明，正如回答者暗示的那样，try() 只会捕获错误。数据类型错误、大小错误或为 NULL 的意外结果将直接通过 try() 和 tryCatch() 并使任何试图调整结果的程序崩溃成一个数组!

谢天谢地，这不是什么疯狂的非确定性竞争条件之类的。哇哦。感谢阅读，希望我的经验对其他人有所帮助。

Answer 1

您对 try 函数的使用可能没有任何问题。可能是您的函数导致工作进程退出。在这种情况下，主进程将从套接字连接读取到该工作进程时出错，从而导致错误消息:

Error in unserialize(node$con) : error reading from connection

parApply 不会捕获此错误，但会传播它，导致您的脚本退出并显示消息“Execution halted”。

我可以重现这个场景:

library(parallel)
cl <- makePSOCKcluster(4)
clusterApply(cl, 1:10, function(i) {
  tryCatch({
    quit(save='no', status=1)
  },
  error=function(e) {
    NULL
  })
})

当我执行它时，我得到了输出:

Error in unserialize(node$con) : error reading from connection
Calls: clusterApply ... FUN -> recvData -> recvData.SOCKnode -> unserialize
Execution halted

不幸的是，这并没有告诉我们是什么导致工作进程退出，但我认为这是您应该集中精力的地方，而不是纠结于 try 函数。