python - 使用 R/python 和 SSD 进行数据分析

Question

有没有人有使用 r/python 处理存储在固态驱动器中的数据的经验。如果您主要进行读取，理论上这应该会显着缩短大型数据集的加载时间。我想知道这是否属实，以及是否值得投资 SSD 以提高数据密集型应用程序的 IO 速率。

Answer 1

我的 2 美分:只有当您的应用程序存储在 SSD 上而不是数据时，SSD 才有返回。即使那样，也只有在需要大量访问磁盘的情况下，比如操作系统。人们将您指向分析是正确的。我可以不做就告诉你，几乎所有的读取时间都花在了处理上，而不是在磁盘上读取。

考虑数据的格式比考虑数据的存储位置更有意义。使用正确的应用程序和正确的格式可以加快读取数据的速度。就像使用 R 的内部格式而不是摸索文本文件一样。让它成为感叹号:永远不要继续摸索文本文件。如果您需要速度，请使用二进制。

由于开销，如果您使用 SSD 或普通磁盘从中读取数据，通常不会有什么不同。我都有，并使用普通磁盘存储我的所有数据。我有时会处理大数据集，但从未遇到过问题。当然，如果我必须非常繁重，我只会在我们的服务器上工作。

因此，当我们谈论数以千计的数据时，这可能会有所不同，但即便如此，我仍然非常怀疑磁盘访问是否是限制因素。除非你不断地读写磁盘，但我会说你应该重新开始思考你到底在做什么。与其将钱花在 SDD 驱动器上，不如增加内存是更好的选择。或者只是说服老板给你一个像样的计算服务器。

使用伪造数据帧的计时实验，以及在 SSD 磁盘和普通磁盘上以文本格式与二进制格式进行读写。

> tt <- 100
> longtext <- paste(rep("dqsdgfmqslkfdjiehsmlsdfkjqsefr",1000),collapse="")
> test <- data.frame(
+     X1=rep(letters,tt),
+     X2=rep(1:26,tt),
+     X3=rep(longtext,26*tt)
+ )

> SSD <- "C:/Temp" # My ssd disk with my 2 operating systems on it.
> normal <- "F:/Temp" # My normal disk, I use for data

> # Write text 
> system.time(write.table(test,file=paste(SSD,"test.txt",sep="/")))
   user  system elapsed 
   5.66    0.50    6.24 

> system.time(write.table(test,file=paste(normal,"test.txt",sep="/")))
   user  system elapsed 
   5.68    0.39    6.08 

> # Write binary
> system.time(save(test,file=paste(SSD,"test.RData",sep="/")))
   user  system elapsed 
      0       0       0 

> system.time(save(test,file=paste(normal,"test.RData",sep="/")))
   user  system elapsed 
      0       0       0 

> # Read text 
> system.time(read.table(file=paste(SSD,"test.txt",sep="/"),header=T))
   user  system elapsed 
   8.57    0.05    8.61 

> system.time(read.table(file=paste(normal,"test.txt",sep="/"),header=T))
   user  system elapsed 
   8.53    0.09    8.63 

> # Read binary
> system.time(load(file=paste(SSD,"test.RData",sep="/")))
   user  system elapsed 
      0       0       0 

> system.time(load(file=paste(normal,"test.RData",sep="/")))
   user  system elapsed 
      0       0       0