scala - 将字符串 "decimal"转换为 DecimalType

Question

由于过程过于复杂，我需要将表示数据类型的字符串转换为实际的 org.apache.spark.sql.types 数据类型。我有一个几乎可以工作的简单函数。

def getType (s: String): DataType = {
  s match {
    case "string" => StringType
    ...
    case "decimal" => DecimalType
    //case "decimal" => org.apache.spark.sql.types.DecimalType

  }
}

小数线的两个版本都导致它失败:

found  : org.apache.spark.sql.types.DecimalType.type
required: org.apache.spark.sql.types.DataType

我该如何处理？

Answer 1

您可以通过多种方式创建 DecimalType。

您可以使用new(Java 版本)来创建 DecimalType。

默认精度和小数位数是 (10, 0) new DecimalType()，但您可以提供精度和小数位数。 precision可以达到38，scale也可以达到38(小于或等于precision)。

例如

    def getType (s: String): DataType = {
      s match {
        case "string" => StringType
        case "decimal" => new DecimalType(precision = 18, scale = 12)
        case "decimalV2" =>  DataTypes.createDecimalType() // This works too, default precision and scale
        case "decimalV3" => DataTypes.createDecimalType(precision = 12, scale = 8) // if you want to provide precision and scale
        //case "decimal" => org.apache.spark.sql.types.DecimalType
      }
    }