python - Spark 蟒 : Standard scaler error "Do not support ... SparseVector"

Question

我又撞墙了。我是一个新手，所以我不得不再次依赖你的强大知识。

我从一个数据集开始，看起来像这样:

 ,user_account_id,user_lifetime,user_no_outgoing_activity_in_days,user_account_balance_last,user_spendings,reloads_inactive_days,reloads_count,reloads_sum,calls_outgoing_count,calls_outgoing_spendings,calls_outgoing_duration,calls_outgoing_spendings_max,calls_outgoing_duration_max,calls_outgoing_inactive_days,calls_outgoing_to_onnet_count,calls_outgoing_to_onnet_spendings,calls_outgoing_to_onnet_duration,calls_outgoing_to_onnet_inactive_days,calls_outgoing_to_offnet_count,calls_outgoing_to_offnet_spendings,calls_outgoing_to_offnet_duration,calls_outgoing_to_offnet_inactive_days,calls_outgoing_to_abroad_count,calls_outgoing_to_abroad_spendings,calls_outgoing_to_abroad_duration,calls_outgoing_to_abroad_inactive_days,sms_outgoing_count,sms_outgoing_spendings,sms_outgoing_spendings_max,sms_outgoing_inactive_days,sms_outgoing_to_onnet_count,sms_outgoing_to_onnet_spendings,sms_outgoing_to_onnet_inactive_days,sms_outgoing_to_offnet_count,sms_outgoing_to_offnet_spendings,sms_outgoing_to_offnet_inactive_days,sms_outgoing_to_abroad_count,sms_outgoing_to_abroad_spendings,sms_outgoing_to_abroad_inactive_days,sms_incoming_count,sms_incoming_spendings,sms_incoming_from_abroad_count,sms_incoming_from_abroad_spendings,gprs_session_count,gprs_usage,gprs_spendings,gprs_inactive_days,last_100_reloads_count,last_100_reloads_sum,last_100_calls_outgoing_duration,last_100_calls_outgoing_to_onnet_duration,last_100_calls_outgoing_to_offnet_duration,last_100_calls_outgoing_to_abroad_duration,last_100_sms_outgoing_count,last_100_sms_outgoing_to_onnet_count,last_100_sms_outgoing_to_offnet_count,last_100_sms_outgoing_to_abroad_count,last_100_gprs_usage,user_intake,user_has_outgoing_calls,user_has_outgoing_sms,user_use_gprs,user_does_reload,n_months,month,churn
0,1031,947.0,0.3333333333333333,10.993333333333334,10.3,12.0,1.3333333333333333,10.013333333333334,83.66666666666667,5.859999999999999,55.69,0.5966666666666667,10.333333333333334,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,23.333333333333332,2.8833333333333333,25.0,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,135.33333333333334,4.44,0.06,0.3333333333333333,16.333333333333332,0.98,0.3333333333333333,57.666666666666664,3.4599999999999995,0.3333333333333333,0.0,0.0,0.3333333333333333,14.0,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,5.666666666666667,22.01666666666667,130.48,0.0,65.33333333333333,0.0,287.3333333333333,34.0,113.66666666666667,0.0,0.0,0,1,1,0,1,3,9,0
1,4231,951.0,1.3333333333333333,27.546666666666667,6.45,22.0,1.0,12.013333333333334,46.333333333333336,6.45,47.150000000000006,1.3233333333333333,8.81,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,31.666666666666668,6.400000000000001,42.656666666666666,1.3333333333333333,0.0,0.0,0.0,1.3333333333333333,0.6666666666666666,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,0.0,0.0,57.0,10.666666666666666,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,4.0,32.026666666666664,156.96666666666667,0.0,145.42999999999998,0.0,1.6666666666666667,0.0,0.3333333333333333,0.0,0.0,0,1,1,0,1,3,9,0
2,5231,523.0,0.6666666666666666,14.62,1.0999999999999999,1307.0,0.0,0.0,14.333333333333334,1.0999999999999999,7.573333333333333,0.7266666666666666,4.84,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,8.333333333333334,0.3233333333333333,2.1566666666666667,0.6666666666666666,0.0,0.0,0.0,0.6666666666666666,0.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,0.0,0.0,1307.0,8.333333333333334,0.0,0.0,0.0,0.0,0.0,0.0,1307.0,0.0,0.0,47.330000000000005,0.0,10.356666666666667,0.0,0.0,0.0,0.0,0.0,0.0,0,1,0,0,0,3,9,0

我的代码是这样的:

ca1DF = (
sqlContext.read.load("merged.csv", format="com.databricks.spark.csv", header=True, inferSchema=True)
.rdd.toDF(["user_account_id", "user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload", "n_months", "churn"])
).cache()

ca1DF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last|    user_spendings|reloads_inactive_days|     reloads_count|       reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn|
|              0|         1031|                            947.0|       0.3333333333333333|10.993333333333334|                 10.3|              12.0|1.3333333333333333|  10.013333333333334|       83.66666666666667|      5.859999999999999|                       55.69|         0.5966666666666667|          10.333333333333334|           0.6666666666666666|                              0.0|                             0.0|                                  0.0|            0.6666666666666666|                23.333333333333332|               2.8833333333333333|                                  25.0|            0.6666666666666666|                               0.0|                              0.0|                                   0.0|0.6666666666666666|    135.33333333333334|                      4.44|                      0.06|         0.3333333333333333|             16.333333333333332|                               0.98|          0.3333333333333333|              57.666666666666664|                  3.4599999999999995|          0.3333333333333333|                             0.0|                                 0.0|0.3333333333333333|                  14.0|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|   5.666666666666667|               22.01666666666667|                                   130.48|                                       0.0|                         65.33333333333333|                        0.0|                   287.3333333333333|                                 34.0|                   113.66666666666667|                0.0|        0.0|                      0|                    1|            1|               0|       1|    3|    9|    0|
|              1|         4231|                            951.0|       1.3333333333333333|27.546666666666667|                 6.45|              22.0|               1.0|  12.013333333333334|      46.333333333333336|                   6.45|          47.150000000000006|         1.3233333333333333|                        8.81|           1.3333333333333333|                              0.0|                             0.0|                                  0.0|            1.3333333333333333|                31.666666666666668|                6.400000000000001|                    42.656666666666666|            1.3333333333333333|                               0.0|                              0.0|                                   0.0|1.3333333333333333|    0.6666666666666666|                       0.0|                       0.0|                       57.0|                            0.0|                                0.0|                        57.0|                             0.0|                                 0.0|                        57.0|                             0.0|                                 0.0|              57.0|    10.666666666666666|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|                 4.0|              32.026666666666664|                       156.96666666666667|                                       0.0|                        145.42999999999998|                        0.0|                  1.6666666666666667|                                  0.0|                   0.3333333333333333|                0.0|        0.0|                      0|                    1|            1|               0|       1|    3|    9|    0|
|              2|         5231|                            523.0|       0.6666666666666666|             14.62|   1.0999999999999999|            1307.0|               0.0|                 0.0|      14.333333333333334|     1.0999999999999999|           7.573333333333333|         0.7266666666666666|                        4.84|           0.6666666666666666|                              0.0|                             0.0|                                  0.0|            0.6666666666666666|                 8.333333333333334|               0.3233333333333333|                    2.1566666666666667|            0.6666666666666666|                               0.0|                              0.0|                                   0.0|0.6666666666666666|                   0.0|                       0.0|                       0.0|                     1307.0|                            0.0|                                0.0|                      1307.0|                             0.0|                                 0.0|                      1307.0|                             0.0|                                 0.0|            1307.0|     8.333333333333334|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|                 0.0|                             0.0|                       47.330000000000005|                                       0.0|                        10.356666666666667|                        0.0|                                 0.0|                                  0.0|                                  0.0|                0.0|        0.0|                      0|                    1|            0|               0|       0|    3|    9|    0|

from pyspark.ml.feature import StandardScaler, VectorAssembler
assembler = VectorAssembler(inputCols=["user_lifetime", "user_no_outgoing_activity_in_days", "user_account_balance_last", "user_spendings", "reloads_inactive_days", "reloads_count", "reloads_sum", "calls_outgoing_count", "calls_outgoing_spendings", "calls_outgoing_duration", "calls_outgoing_spendings_max", "calls_outgoing_duration_max", "calls_outgoing_inactive_days", "calls_outgoing_to_onnet_count", "calls_outgoing_to_onnet_spendings", "calls_outgoing_to_onnet_duration", "calls_outgoing_to_onnet_inactive_days", "calls_outgoing_to_offnet_count", "calls_outgoing_to_offnet_spendings", "calls_outgoing_to_offnet_duration", "calls_outgoing_to_offnet_inactive_days", "calls_outgoing_to_abroad_count", "calls_outgoing_to_abroad_spendings", "calls_outgoing_to_abroad_duration", "calls_outgoing_to_abroad_inactive_days", "sms_outgoing_count", "sms_outgoing_spendings", "sms_outgoing_spendings_max", "sms_outgoing_inactive_days", "sms_outgoing_to_onnet_count", "sms_outgoing_to_onnet_spendings", "sms_outgoing_to_onnet_inactive_days", "sms_outgoing_to_offnet_count", "sms_outgoing_to_offnet_spendings", "sms_outgoing_to_offnet_inactive_days", "sms_outgoing_to_abroad_count", "sms_outgoing_to_abroad_spendings", "sms_outgoing_to_abroad_inactive_days", "sms_incoming_count", "sms_incoming_spendings", "sms_incoming_from_abroad_count", "sms_incoming_from_abroad_spendings", "gprs_session_count", "gprs_usage", "gprs_spendings", "gprs_inactive_days", "last_100_reloads_count", "last_100_reloads_sum", "last_100_calls_outgoing_duration", "last_100_calls_outgoing_to_onnet_duration", "last_100_calls_outgoing_to_offnet_duration", "last_100_calls_outgoing_to_abroad_duration", "last_100_sms_outgoing_count", "last_100_sms_outgoing_to_onnet_count", "last_100_sms_outgoing_to_offnet_count", "last_100_sms_outgoing_to_abroad_count", "last_100_gprs_usage", "user_intake", "user_has_outgoing_calls", "user_has_outgoing_sms", "user_use_gprs", "user_does_reload"], outputCol="features")
scaler = StandardScaler(withMean=True, withStd=True, inputCol="features", outputCol="scaled_features")
ca1FeaturizedDF = assembler.transform(ca1DF)
ca1FeaturizedDF.show(5)
|user_account_id|user_lifetime|user_no_outgoing_activity_in_days|user_account_balance_last|    user_spendings|reloads_inactive_days|     reloads_count|       reloads_sum|calls_outgoing_count|calls_outgoing_spendings|calls_outgoing_duration|calls_outgoing_spendings_max|calls_outgoing_duration_max|calls_outgoing_inactive_days|calls_outgoing_to_onnet_count|calls_outgoing_to_onnet_spendings|calls_outgoing_to_onnet_duration|calls_outgoing_to_onnet_inactive_days|calls_outgoing_to_offnet_count|calls_outgoing_to_offnet_spendings|calls_outgoing_to_offnet_duration|calls_outgoing_to_offnet_inactive_days|calls_outgoing_to_abroad_count|calls_outgoing_to_abroad_spendings|calls_outgoing_to_abroad_duration|calls_outgoing_to_abroad_inactive_days|sms_outgoing_count|sms_outgoing_spendings|sms_outgoing_spendings_max|sms_outgoing_inactive_days|sms_outgoing_to_onnet_count|sms_outgoing_to_onnet_spendings|sms_outgoing_to_onnet_inactive_days|sms_outgoing_to_offnet_count|sms_outgoing_to_offnet_spendings|sms_outgoing_to_offnet_inactive_days|sms_outgoing_to_abroad_count|sms_outgoing_to_abroad_spendings|sms_outgoing_to_abroad_inactive_days|sms_incoming_count|sms_incoming_spendings|sms_incoming_from_abroad_count|sms_incoming_from_abroad_spendings|gprs_session_count|gprs_usage|gprs_spendings|gprs_inactive_days|last_100_reloads_count|last_100_reloads_sum|last_100_calls_outgoing_duration|last_100_calls_outgoing_to_onnet_duration|last_100_calls_outgoing_to_offnet_duration|last_100_calls_outgoing_to_abroad_duration|last_100_sms_outgoing_count|last_100_sms_outgoing_to_onnet_count|last_100_sms_outgoing_to_offnet_count|last_100_sms_outgoing_to_abroad_count|last_100_gprs_usage|user_intake|user_has_outgoing_calls|user_has_outgoing_sms|user_use_gprs|user_does_reload|n_months|churn|month|churn|            features|
|              0|         1031|                            947.0|       0.3333333333333333|10.993333333333334|                 10.3|              12.0|1.3333333333333333|  10.013333333333334|       83.66666666666667|      5.859999999999999|                       55.69|         0.5966666666666667|          10.333333333333334|           0.6666666666666666|                              0.0|                             0.0|                                  0.0|            0.6666666666666666|                23.333333333333332|               2.8833333333333333|                                  25.0|            0.6666666666666666|                               0.0|                              0.0|                                   0.0|0.6666666666666666|    135.33333333333334|                      4.44|                      0.06|         0.3333333333333333|             16.333333333333332|                               0.98|          0.3333333333333333|              57.666666666666664|                  3.4599999999999995|          0.3333333333333333|                             0.0|                                 0.0|0.3333333333333333|                  14.0|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|   5.666666666666667|               22.01666666666667|                                   130.48|                                       0.0|                         65.33333333333333|                        0.0|                   287.3333333333333|                                 34.0|                   113.66666666666667|                0.0|        0.0|                      0|                    1|            1|               0|       1|    3|    9|    0|[1031.0,947.0,0.3...|
|              1|         4231|                            951.0|       1.3333333333333333|27.546666666666667|                 6.45|              22.0|               1.0|  12.013333333333334|      46.333333333333336|                   6.45|          47.150000000000006|         1.3233333333333333|                        8.81|           1.3333333333333333|                              0.0|                             0.0|                                  0.0|            1.3333333333333333|                31.666666666666668|                6.400000000000001|                    42.656666666666666|            1.3333333333333333|                               0.0|                              0.0|                                   0.0|1.3333333333333333|    0.6666666666666666|                       0.0|                       0.0|                       57.0|                            0.0|                                0.0|                        57.0|                             0.0|                                 0.0|                        57.0|                             0.0|                                 0.0|              57.0|    10.666666666666666|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|                 4.0|              32.026666666666664|                       156.96666666666667|                                       0.0|                        145.42999999999998|                        0.0|                  1.6666666666666667|                                  0.0|                   0.3333333333333333|                0.0|        0.0|                      0|                    1|            1|               0|       1|    3|    9|    0|(62,[0,1,2,3,4,5,...|
|              2|         5231|                            523.0|       0.6666666666666666|             14.62|   1.0999999999999999|            1307.0|               0.0|                 0.0|      14.333333333333334|     1.0999999999999999|           7.573333333333333|         0.7266666666666666|                        4.84|           0.6666666666666666|                              0.0|                             0.0|                                  0.0|            0.6666666666666666|                 8.333333333333334|               0.3233333333333333|                    2.1566666666666667|            0.6666666666666666|                               0.0|                              0.0|                                   0.0|0.6666666666666666|                   0.0|                       0.0|                       0.0|                     1307.0|                            0.0|                                0.0|                      1307.0|                             0.0|                                 0.0|                      1307.0|                             0.0|                                 0.0|            1307.0|     8.333333333333334|                           0.0|                               0.0|               0.0|       0.0|           0.0|               0.0|                1307.0|                 0.0|                             0.0|                       47.330000000000005|                                       0.0|                        10.356666666666667|                        0.0|                                 0.0|                                  0.0|                                  0.0|                0.0|        0.0|                      0|                    1|            0|               0|       0|    3|    9|    0|(62,[0,1,2,3,4,5,...|

scalerModel = scaler.fit(ca1FeaturizedDF)
ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
ca1FeaturizeScaleddDF.show(5)

产生错误:

---------------------------------------------------------------------------
Py4JJavaError                             Traceback (most recent call last)
<ipython-input-24-4a1ada825b56> in <module>()
  1 ca1FeaturizeScaleddDF = scalerModel.transform(ca1FeaturizedDF)
----> 2 ca1FeaturizeScaleddDF.show(5)

/opt/apache-spark/python/pyspark/sql/dataframe.py in show(self, n, truncate)
255         +---+-----+
256         """
--> 257         print(self._jdf.showString(n, truncate))
258 
259     def __repr__(self):

/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/java_gateway.py in __call__(self, *args)
811         answer = self.gateway_client.send_command(command)
812         return_value = get_return_value(
--> 813             answer, self.gateway_client, self.target_id, self.name)
814 
815         for temp_arg in temp_args:

/opt/apache-spark/python/pyspark/sql/utils.py in deco(*a, **kw)
 43     def deco(*a, **kw):
 44         try:
---> 45             return f(*a, **kw)
 46         except py4j.protocol.Py4JJavaError as e:
 47             s = e.java_exception.toString()

/opt/apache-spark/python/lib/py4j-0.9-src.zip/py4j/protocol.py in get_return_value(answer, gateway_client, target_id, name)
306                 raise Py4JJavaError(
307                     "An error occurred while calling {0}{1}{2}.\n".
--> 308                     format(target_id, ".", name), value)
309             else:
310                 raise Py4JError(

Py4JJavaError: An error occurred while calling o172.showString.
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 16.0 failed 1 times, most recent failure: Lost task 0.0 in stage 16.0 (TID 20, localhost): java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.ml.feature.StandardScalerModel$$anonfun$2.apply(StandardScaler.scala:141)
at org.apache.spark.sql.catalyst.expressions.GeneratedClass$SpecificUnsafeProjection.apply(Unknown Source)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:51)
at org.apache.spark.sql.execution.Project$$anonfun$1$$anonfun$apply$1.apply(basicOperators.scala:49)

错误和数据被缩短。

显然，我不知道它是什么意思或如何修复它..

我正在尝试根据不同数据集上的示例制作一个 k-means 模型。需要 K-means 模型。

谢谢!

圣诞快乐!

Answer 1

发生这种情况是因为在 Spark 1.x 中，StandardScaler 不能用于转换 SparseVector withMean。此行为已在 Spark 2.0 中进行了修改，如果请求居中，向量将转换为 DenseVector。

在 Spark 1.x 中，您必须手动处理:

from pyspark.mllib.linalg import SparseVector, DenseVector, VectorUDT
from pyspark.sql.functions import udf

as_dense = udf(
    lambda v: DenseVector(v.toArray()) if v is not None else None,
    VectorUDT()
)

示例用法:

df = sc.parallelize([
    (1, SparseVector(5, [0, 3], [1.0, -1.0]))
]).toDF(["id", "features"])

scaler = StandardScaler(
    withMean=True, withStd=True, inputCol="features", outputCol="scaled_features"
)

scaler.fit(df).transform(df).show(1)

... ERROR Executor: Exception in task 6.0 in stage 31.0 (TID 68)
java.lang.IllegalArgumentException: Do not support vector type class org.apache.spark.mllib.linalg.SparseVector
at org.apache.spark.mllib.feature.StandardScalerModel.transform(StandardScaler.scala:150)

df_dense = df.withColumn("features", as_dense("features"))

scaler.fit(df_dense).transform(df_dense).show(1)

+---+--------------------+--------------------+
| id|            features|     scaled_features|
+---+--------------------+--------------------+
|  1|[1.0,0.0,0.0,-1.0...|[0.0,0.0,0.0,0.0,...|
+---+--------------------+--------------------+

请注意，您使用的重命名逻辑不正确且效率低下。如果你想删除索引列 select 应该足够了:

ca1DF = sqlContext.read.load(...).select(
    ["user_account_id", "user_lifetime", ...  "churn"]
)