python - python上的远程数据库访问

Question

我有一个大型数据集 (185GB)，我计划对其执行一些机器学习算法。数据位于计算能力有限的本地计算机上。我可以访问一个远程集群，在那里我可以执行计算量大的算法。它有 1TB 内存，速度非常快。但由于某些原因，我在远程服务器上只有 2GB(!) 的磁盘存储空间。

我可以通过 SSH 连接到集群，在 python 上有没有什么方法可以通过 SSH 将数据库加载到 RAM？

非常感谢有关如何解决此问题的任何一般提示。

Answer 1

您可能想使用 paramiko这样您就可以从 Python 中使用 SSH 进行连接。然后，您可以运行输出数据并从流中读取数据的命令。这比复制文件更好，因为它不涉及将数据复制到磁盘。如果数据在文件中，那么您只需使用 paramiko 来 cat 文件并从流中读取数据。