python - 如何在 Zeppelin 中的 %pyspark 解释器和 %python 解释器之间传递数据集？

Question

我正在编写一段代码，使用内部库和 %pyspark 解释器获取数据集。 但是我无法将数据集传递给 %python 解释器。我尝试使用字符串变量并且工作正常，但是对于数据集，我使用以下代码将数据集放入飞艇上下文中 - z.put("input_data",input_data)

它抛出以下错误:

属性错误:“DataFrame”对象没有属性“_get_object_id”。

你能告诉我该怎么做吗？提前致谢。

Answer 1

您可以通过打印到%table将结果放入ResourcePool中。

%python
print('%table a\tb\n408+\t+408\n0001\t++99\n40817810300001453030\t0000040817810300001453030')

那就这样吧。

%spark.pyspark
ic = z.getInterpreterContext()
pool = ic.getResourcePool()
paragraphId = "20180828-093109_1491500809"
t = pool.get(ic.getNoteId(), paragraphId, "zeppelin.paragraph.result.table").get().toString()

print(t)

这种方式允许传输多达 50-100 MB 的原始数据。

无论如何，我建议遵循@zjffdu 仅使用这些解释器之一。