gpt4 book ai didi

Java 或 Python 分布式计算工作(学生预算)?

转载 作者:可可西里 更新时间:2023-11-01 14:19:16 24 4
gpt4 key购买 nike

我有一个大型数据集(大约 40G),我想在实验室的几台计算机上用于某些 NLP(主要是令人尴尬的并行),我没有拥有 root 访问权限,而且只有1G的用户空间。我用 hadoop 进行了试验,但当然这是死在水中——数据存储在外部 usb 硬盘驱动器上,由于 1G 用户空间上限,我无法将其加载到 dfs 上。我一直在研究几个基于 python 的选项(如果可以的话,我宁愿使用 NLTK 而不是 Java 的 lingpipe),分布式计算选项看起来像:

  • Ipython
  • 迪斯科

在我的 hadoop 经验之后,我正在努力确保我尝试做出明智的选择——任何关于什么可能更合适的帮助将不胜感激。

Amazon 的 EC2 等不是真正的选择,因为我几乎没有预算。

最佳答案

与您学校的 IT 部门(尤其是在大学时)交谈,如果是为了作业或研究,我敢打赌他们会非常乐意为您提供更多磁盘空间。

关于Java 或 Python 分布式计算工作(学生预算)?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/2844105/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com