apache-spark - spark.sql.hive.filesourcePartitionFileCacheSize

Question

不知道有没有人知道这个警告信息

18/01/10 19:52:56 WARN SharedInMemoryCache: Evicting cached table partition metadata from memory due to size constraints
(spark.sql.hive.filesourcePartitionFileCacheSize = 262144000 bytes). This may impact query planning performance

我在尝试将一些包含许多分区的大数据帧从 S3 加载到 spark 时经常看到这种情况。

它从来没有真正对工作造成任何问题，只是想知道该配置属性的用途是什么以及如何正确调整它。

谢谢

Answer 1

在回答您的问题时，这是一个 spark-hive 特定的配置属性，当非零时，启用内存中的分区文件元数据缓存。所有表共享一个缓存，该缓存最多可以使用指定的 num 个字节来存储文件元数据。此 conf 仅在启用 hive 文件源分区管理时有效。

spark源码中是这样写的。根据代码，默认大小为 250 * 1024 * 1024，您可以尝试在代码/spark-submit 命令中通过 SparkConf 对象进行操作。

Spark 源代码

val HIVE_FILESOURCE_PARTITION_FILE_CACHE_SIZE =
    buildConf("spark.sql.hive.filesourcePartitionFileCacheSize")
      .doc("When nonzero, enable caching of partition file metadata in memory. All tables share " +
           "a cache that can use up to specified num bytes for file metadata. This conf only " +
           "has an effect when hive filesource partition management is enabled.")
      .longConf
      .createWithDefault(250 * 1024 * 1024)