r - dplyr::copy_to 和 sparklyr::sdf_copy_to 有什么区别？

Question

我正在使用图书馆 sparklyr 与“ Spark ”进行交互。有一些函数可以将数据框放入 spark 上下文中。这些函数是'dplyr::copy_to ' 和 ' sparklyr::sdf_copy_to '。有什么区别以及何时建议使用其中一种而不是另一种？

Answer 1

他们是一样的。我会使用 copy_to而不是专家sdf_copy_to因为它与其他数据源更一致，但这是风格。
函数copy_to是来自 dplyr 的泛型并适用于任何实现 dplyr 的数据源后端。
您可以将它与 Spark 连接一起使用，因为 sparklyr实现 copy_to.src_spark和 copy_to.spark_connection .它们不会暴露给用户，因为您应该使用 copy_to并让它分派(dispatch)到正确的方法。copy_to.src_sparck只需调用copy_to.spark_connection :

#> sparklyr:::copy_to.src_spark
function (dest, df, name, overwrite, ...) 
{
    copy_to(spark_connection(dest), df, name, ...)
}
<bytecode: 0x5646b227a9d0>
<environment: namespace:sparklyr>

copy_to.spark_connection只需调用 sdf_copy_to :

#> sparklyr:::copy_to.spark_connection
function (dest, df, name = spark_table_name(substitute(df)), 
    overwrite = FALSE, memory = TRUE, repartition = 0L, ...) 
{
    sdf_copy_to(dest, df, name, memory, repartition, overwrite, 
        ...)
}
<bytecode: 0x5646b21ef120>
<environment: namespace:sparklyr>

sdf_copy_to遵循以 "sdf_" 为前缀的包范围的约定与 Spark DataFrames 相关的函数。另一方面， copy_to来自 dplyr和 sparklyr为方便 dplyr提供兼容的方法用户。