apache-spark - Pyspark - saveAsTable - 如何将新数据插入现有表？

Question

如何向现有表中插入新数据？？？

我正在尝试使用 pyspark 将新数据插入现有表。

这是我的程序

from pyspark import SparkContext
from pyspark.sql import SQLContext, DataFrameWriter

sc = SparkContext("local[*]", "SPARK-SQL")
sqlContext = SQLContext(sc)

df = sqlContext.read.json("people.json")
df.registerTempTable("people")

# Show old data
result = sqlContext.sql("SELECT * from people")
result.show()

# Create new data
new_data = [{"name": "Phan", "age": 22}]
df_new_data = sqlContext.createDataFrame(new_data)
# Save data to table 'people'
df_new_data.write.mode("append").saveAsTable("people")

# Show new data
result = sqlContext.sql("SELECT * from people")
result.show()

在我运行它之后。 “people”表中的数据不能更改。

Old data
+---+--------+
|age|    name|
+---+--------+
| 30| Michael|
| 30|    Andy|
| 19|  Justin|
| 21|PhanHien|
+---+--------+
New data
+---+--------+                                                                  
|age|    name|
+---+--------+
| 30| Michael|
| 30|    Andy|
| 19|  Justin|
| 21|PhanHien|
+---+--------+

请帮我更改表中的数据!!!谢谢!

Answer 1

我尝试使用表名不存在 saveAsTable。

df_new_data.write.mode("append").saveAsTable("people1")

# Show new data
result = sqlContext.sql("SELECT * from people1")
result.show()

成功了。我可以在表 "people1"

中看到新数据

+---+----+
|age|name|
+---+----+
|22 |Phan|
+---+----+