java - 由 java 时间戳构造并写入 parquet 的 Spark 数据帧的内容是否会根据系统的本地时区而有所不同？

Question

最近，我在为处理时间戳的 Java Spark 应用程序创建可靠的单元测试时遇到了很多麻烦。

具体来说，我很难说服自己，无论运行系统的时区如何，我正在测试的代码都会产生相同的结果。

以以下虚拟测试为起点:

public class TimestampsTest {

    @Test
    public void timestampsTest() {
        SparkSession spark = SparkSessionBuilder.getTestSparkSession();

        Timestamp timestamp1 = Timestamp.valueOf("2019-01-01 01:00:00");
        println("Timestamp 1:");
        println(timestamp1.toString());
        println("Instant 1:");
        println(timestamp1.toInstant().toString());
        Timestamp timestamp2 = Timestamp.valueOf("2019-01-01 02:00:00");
        println("Timestamp 2:");
        println(timestamp2.toString());
        println("Instant 2:");
        println(timestamp2.toInstant().toString());
        List<Row> rows = Arrays.asList(
                RowFactory.create(timestamp1),
                RowFactory.create(timestamp2)
        );
        StructType schema = DataTypes.createStructType(
                Collections.singletonList(DataTypes.createStructField("timestamp", DataTypes.TimestampType, false))
        );

        println("Spark dataframe:");
        Dataset<Row> df = spark.createDataFrame(rows, schema);
        df.show();
    }
}

输出如下:

Spark version:
2.4.3

Timestamp 1:
2019-01-01 01:00:00.0
Instant 1:
2019-01-01T06:00:00Z

Timestamp 2:
2019-01-01 02:00:00.0
Instant 2:
2019-01-01T07:00:00Z

Spark dataframe:
+-------------------+
|          timestamp|
+-------------------+
|2019-01-01 01:00:00|
|2019-01-01 02:00:00|
+-------------------+

数据帧中的时间戳与我用来创建原始 Java 时间戳的文本输入相匹配，但底层时刻则不然。 (我在 EST5EDT 中运行它，因此 Timestamp 对象表示 EST5EDT 中的时间，而 Instant 对象在转换为字符串时以 UTC 表示。这完全是预期的。)

我的问题是这样的:

Spark 是使用时间戳对象的运行时 Java 表示来构建数据帧，还是使用 UTC 时刻，然后当我在数据帧上调用 show() 时简单地将它们显示在 EST5EDT 中？换句话说:java中时间戳的字符串表示形式与数据帧的内容之间是否存在确定性关系 或者 UTC时间轴上的时刻与数据帧的内容之间是否存在确定性关系？

我知道，无论运行此代码的时区如何，df.show() 的输出都将是相同的，因为上述两种情况都会导致 show() 产生相同的输出。但是，如果我将数据帧的内容保存到 parquet，无论我的代码在哪个时区运行，我最终都会得到相同的结果吗？换句话说，如果我将此数据帧保存到 parquet，然后在具有不同本地时区的另一个环境中将其读入 Spark，数据帧是否相同？或者底层 UTC 时间将是相同的，这意味着本地表示将取决于我运行的本地时区？

Answer 1

我决定通过运行一些测试来回答我自己的问题。

如果将 Spark 数据帧中的时间戳读入不同时区的计算机上的数据帧，则写入 parquet 的时间戳将不同。换句话说，spark 似乎将 UTC 时间轴上的基础时刻的值保存到 parquet，然后在读取它的系统上处于 Activity 状态的任何本地时区中显示它。下面的测试证明了这一点:

我们需要的几个辅助函数:

void printStats(SparkSession spark, Timestamp timestamp1, Timestamp timestamp2, Dataset<Row> df) {
    println("Spark version:");
    println(spark.version());
    println("");

    println("Timezone:");
    println(System.getProperty("user.timezone"));

    println("Timestamp 1:");
    println(timestamp1.toString());
    println("Instant 1:");
    println(timestamp1.toInstant().toString());
    println("");

    println("Timestamp 2:");
    println(timestamp2.toString());
    println("Instant 2:");
    println(timestamp2.toInstant().toString());
    println("");

    println("Spark dataframe:");
    df.show();
    println("");
}

Dataset<Row> createDataframe(SparkSession spark, Timestamp timestamp1, Timestamp timestamp2) {
    List<Row> rows = Arrays.asList(
            RowFactory.create(timestamp1),
            RowFactory.create(timestamp2)
    );
    StructType schema = DataTypes.createStructType(
            Collections.singletonList(DataTypes.createStructField("timestamp", DataTypes.TimestampType, false))
    );

    return spark.createDataFrame(rows, schema);
}

首先在 EST 中写入一些时间戳以与机器进行 Parquet :

SparkSession spark = SparkSessionBuilder.getTestSparkSession();
Timestamp timestamp1 = Timestamp.valueOf("2019-01-01 01:00:00");
Timestamp timestamp2 = Timestamp.valueOf("2019-01-01 02:00:00");
Dataset<Row> df = createDataframe(spark, timestamp1, timestamp2);
printStats(spark, timestamp1, timestamp2, df);
String tempPath = "/temp/timestamps_test";
df.write().parquet(tempPath);

控制台输出:

Timezone:
America/New_York
Timestamp 1:
2019-01-01 01:00:00.0
Instant 1:
2019-01-01T06:00:00Z

Timestamp 2:
2019-01-01 02:00:00.0
Instant 2:
2019-01-01T07:00:00Z

Spark dataframe:
+-------------------+
|          timestamp|
+-------------------+
|2019-01-01 01:00:00|
|2019-01-01 02:00:00|
+-------------------+

现在，我们将机器切换到 UTC 并将时间戳读回到新的数据帧中:

SparkSession spark = SparkSessionBuilder.getTestSparkSession();
String tempPath = "/temp/timestamps_test";
Dataset<Row> readDf = spark.read().parquet(tempPath);
Timestamp retrieved1 = (Timestamp) readDf.collectAsList().stream().map(r -> r.getTimestamp(0)).toArray()[0];
Timestamp retrieved2 = (Timestamp) readDf.collectAsList().stream().map(r -> r.getTimestamp(0)).toArray()[1];
printStats(spark, retrieved1, retrieved2, readDf);

输出:

Timezone:
UTC
Timestamp 1:
2019-01-01 06:00:00.0
Instant 1:
2019-01-01T06:00:00Z

Timestamp 2:
2019-01-01 07:00:00.0
Instant 2:
2019-01-01T07:00:00Z

Spark dataframe:
+-------------------+
|          timestamp|
+-------------------+
|2019-01-01 06:00:00|
|2019-01-01 07:00:00|
+-------------------+

请注意，无论时区如何，时刻都是相同的，这表明 parquet 中存储的是 UTC 时刻，而不是本地时间戳。