scientific-computing - 科学编程的可重复性

Question

除了产生不正确的结果外，科学编程中最担心的问题之一就是无法复制您生成的结果。哪些最佳实践可帮助确保您的分析可重复？

Answer 1

我是研究地球物理学家团队中的一名软件工程师，我们目前（一如既往）致力于提高我们按需复制结果的能力。以下是根据我们的经验得出的一些建议：


将所有内容置于版本控制之下：源代码，输入数据集，makefile等
构建可执行文件时：我们将编译器指令嵌入到可执行文件本身中，我们用UUID标记构建日志，并用相同的UUID标记可执行文件，计算可执行文件的校验和，自动生成所有内容并自动更新数据库（好吧，这只是一个简单的例子。文件），以及构建详细信息等
我们使用Subversion的关键字在每个源中包含修订号（等），并将其写入生成的任何输出文件中。
我们进行了大量（半）自动化的回归测试，以确保新版本的代码或新的构建变体产生相同（或足够相似）的结果，并且我正在开发一系列程序来量化所做的更改发生。
我的地球物理学家同事确实分析了程序对输入变化的敏感性。我分析了它们对编译器设置，平台等的敏感性（代码，而不是地理信息）。


我们目前正在工作流系统上，该系统将记录每项作业的详细信息：输入数据集（包括版本），输出数据集，使用的程序（包括版本和变体），参数等-通常称为出处。一旦启动并运行，发布结果的唯一方法就是使用工作流系统。任何输出数据集都将包含其自身出处的详细信息，尽管我们尚未进行详细的设计。

我们非常（也许也）放宽了将数值结果复制到最低有效位的要求。我们工作的基础科学以及我们基础数据集测量中固有的误差，不支持我们超过2或3 s.f的任何数值结果的有效性。

当然，我们不会发布代码或数据进行同行评审，因为我们从事石油业务。