r - 统计分析和报告撰写的工作流程

Question

有人对与自定义​​报告编写相关的数据分析工作流程有任何了解吗？用例基本上是这样的:

1. 客户委托(delegate)使用数据分析的报告，例如水域的人口估计和相关 map 。

2. 分析师下载一些数据，处理数据并保存结果(例如，为每单位人口添加一列，或根据地区边界对数据进行子集化)。

3. 分析师分析了 (2) 中创建的数据，接近了她的目标，但发现需要更多数据，因此返回 (1)。

4. 重复冲洗，直到表格和图形符合 QA/QC 要求并令客户满意。

5. 撰写包含表格和图形的报告。

6. 明年，满意的客户回来并想要更新。这应该像通过新下载更新上游数据一样简单(例如，获取去年的建筑许可)，然后按“重新计算”按钮，除非规范发生变化。

目前，我只是启动一个目录并尽我所能将其临时设置。我想要一种更系统的方法，所以我希望有人能解决这个问题...我混合使用电子表格、SQL、ARCGIS、R 和 Unix 工具。

谢谢!

附注:

下面是一个基本的 Makefile，用于检查对各种中间数据集(带有 .RData 后缀)和脚本(.R 后缀)的依赖性。 Make 使用时间戳来检查依赖关系，因此如果您触摸 ss07por.csv，它会发现该文件比依赖它的所有文件/目标都新，并执行给定的脚本以更新他们相应地。这仍然是一项正在进行的工作，包括放入 SQL 数据库的步骤，以及像 sweave 这样的模板语言的步骤。请注意，Make 依赖于其语法中的制表符，因此在剪切和粘贴之前请阅读手册。享受并提供反馈!

http://www.gnu.org/software/make/manual/html_node/index.html#Top

R=/home/wsprague/R-2.9.2/bin/Rpersondata.RData : ImportData.R ../../DATA/ss07por.csv Functions.R   $R --slave -f ImportData.Rpersondata.Munged.RData : MungeData.R persondata.RData Functions.R      $R --slave -f MungeData.Rreport.txt:  TabulateAndGraph.R persondata.Munged.RData Functions.R      $R --slave -f TabulateAndGraph.R > report.txt

Answer 1

我通常将我的项目分成 4 部分:

1. 加载.R
2. 干净。R
3. func.R
4. do.R

load.R:负责加载所有所需的数据。通常这是一个短文件，从文件、URL 和/或 ODBC 读取数据。根据此时的项目，我将使用 save() 写出工作区，或者将内容保留在内存中以供下一步使用。

clean.R:这就是所有丑陋的东西存在的地方 - 处理缺失值、合并数据帧、处理异常值。

func.R:包含执行实际分析所需的所有函数。除了加载函数定义之外，source()'ing 这个文件应该没有副作用。这意味着您可以修改此文件并重新加载它，而不必返回重复步骤 1 和 2，这对于大型数据集可能需要很长时间才能运行。

do.R:调用func.R中定义的函数来执行分析并生成图表和表格。

此设置的主要动机是为了处理大数据，您不希望每次对后续步骤进行更改时都必须重新加载数据。另外，像这样对我的代码进行划分意味着我可以回到一个长期被遗忘的项目并快速读取 load.R 并找出我需要更新的数据，然后查看 do.R 以确定执行了哪些分析。/p>