r - MLlib : How does RFormula. fit() 工作吗？

Question

使用 Spark 的 MLlib 创建模型的一种可能性是使用 pyspark.ml.feature 中的 RFormula 模块，如 docs 中所述。 。但是，我找不到任何解释 fit 在这种情况下是如何实际实现的。它使用平方损失函数还是其他函数？我在哪里可以找到此类信息？ source确实很难理解...

Answer 1

正如 Anoop Toffy 的评论中提到的，您可以找到一个不错的小教程 here 。引用教程:

The fit() step determines the mapping of categorical feature values to vector indices in the output, so that the fitted RFormula can be used across different datasets.

>>> formula = RFormula(formula="ArrDelay ~ DepDelay + Distance + aircraft_type")
>>> formula.fit(training).transform(training).show()
+--------------+---------+---------+---------+--------------------+------+
| aircraft_type| Distance| DepDelay| ArrDelay|            features| label|
+--------------+---------+---------+---------+--------------------+------+
|       Balloon|       23|       18|       20| [0.0,0.0,23.0,18.0]|  20.0|
|  Multi-Engine|      815|        2|       -2| [0.0,1.0,815.0,2.0]|  -2.0|
| Single-Engine|      174|        0|        1| [1.0,0.0,174.0,0.0]|   1.0|
+--------------+---------+---------+---------+--------------------+------+