dataframe - 数据框所有列的转换函数

Question

我有一个数据框df，我正在尝试对每个单元格应用一个函数。根据documentation我应该使用 transform 函数。

该函数应该应用于每一列，因此我使用 [:] 作为所有列的选择器

transform(
    df, [:] .=> ByRow(x -> (if (x > 1) x else zero(Float64) end)) .=> [:]
)

但它会产生异常

ArgumentError: Unrecognized column selector: Colon() => (DataFrames.ByRow{Main.workspace293.var"#1#2"}(Main.workspace293.var"#1#2"()) => Colon())

虽然当我使用单列时，它工作得很好

transform(
    df, [:K0] .=> ByRow(x -> (if (x > 1) x else zero(Float64) end)) .=> [:K0]
)

Answer 1

最简单的方法是使用广播:

julia> df = DataFrame(2*rand(4,3), [:x1, :x2, :x3])
4×3 DataFrame
│ Row │ x1        │ x2       │ x3       │
│     │ Float64   │ Float64  │ Float64  │
├─────┼───────────┼──────────┼──────────┤
│ 1   │ 0.945879  │ 1.59742  │ 0.882428 │
│ 2   │ 0.0963367 │ 0.400404 │ 0.599865 │
│ 3   │ 1.23356   │ 0.807691 │ 0.547917 │
│ 4   │ 0.756098  │ 0.595673 │ 0.29678  │

julia> @. ifelse(df > 1, df, 0.0)
4×3 DataFrame
│ Row │ x1      │ x2      │ x3      │
│     │ Float64 │ Float64 │ Float64 │
├─────┼─────────┼─────────┼─────────┤
│ 1   │ 0.0     │ 1.59742 │ 0.0     │
│ 2   │ 0.0     │ 0.0     │ 0.0     │
│ 3   │ 1.23356 │ 0.0     │ 0.0     │
│ 4   │ 0.0     │ 0.0     │ 0.0     │

如果您愿意，您还可以对其进行转换:

julia> transform(df, names(df) .=> ByRow(x -> ifelse(x>1, x, 0.0)) .=> names(df))
4×3 DataFrame
│ Row │ x1      │ x2      │ x3      │
│     │ Float64 │ Float64 │ Float64 │
├─────┼─────────┼─────────┼─────────┤
│ 1   │ 0.0     │ 1.59742 │ 0.0     │
│ 2   │ 0.0     │ 0.0     │ 0.0     │
│ 3   │ 1.23356 │ 0.0     │ 0.0     │
│ 4   │ 0.0     │ 0.0     │ 0.0     │

另外查看链接的 pandas 解决方案 DataFrames.jl 在这种情况下似乎更快:

julia> df = DataFrame(2*rand(2,3), [:x1, :x2, :x3])
2×3 DataFrame
 Row │ x1       x2       x3       
     │ Float64  Float64  Float64  
─────┼────────────────────────────
   1 │ 1.48781  1.20332  1.08071
   2 │ 1.55462  1.66393  0.363993

julia> using BenchmarkTools

julia> @btime @. ifelse($df > 1, $df, 0.0)
  6.252 μs (58 allocations: 3.89 KiB)
2×3 DataFrame
 Row │ x1       x2       x3      
     │ Float64  Float64  Float64 
─────┼───────────────────────────
   1 │ 1.48781  1.20332  1.08071
   2 │ 1.55462  1.66393  0.0

(在 pandas 中，2x3 数据帧的范围为 163 µs 到 2.26 ms)