java - 使用 Java 比较 Spark 中的两个数据帧？

Question

我有一个名为“sample_event”的表，看起来像

+-----+-------------------------+-------------------+---------------+
| id  | log_timestamp           | action_performed  | activity_date |
+-----+-------------------------+-------------------+---------------+
| 1   |  2017-06-01 23:40:07.0  | Clicked           | 2017-06-01    |
+-----+-------------------------+-------------------+---------------+

此表的架构与数据类型:-

 root
  |-- id: integer (nullable = true)
  |-- log_timestamp: timestamp (nullable = true)
  |-- action_performed: string (nullable = true)
  |-- activity_date: date (nullable = true)

我得到的数据框就像

Dataset<Row> df = sparkContext.sql("SELECT * FROM sample_event WHERE id=1")

我想通过使用表中相同的值创建一个新的数据框来测试数据框的值和类型。如何使用上述架构在 Java 中创建数据框？

Answer 1

创建表格

CREATE TABLE [IF NOT EXISTS] [db_name.]table_name1 LIKE [db_name.]table_name2 [LOCATION path]

使用现有表或 View 的定义/元数据创建 MANAGED 表。创建的表始终使用默认仓库位置中自己的目录。