27
4
I am trying to update the missing values of a dataframe in pandas with a smaller subset but cannot seem to get pd.merge, df.loc or pd.join to work.
我正在尝试用较小的子集更新熊猫中数据帧的缺失值，但似乎无法使pd.merge、df.loc或pd.Join起作用。
The scenario is like this: I have a Dataframe df such that:
场景如下：我有一个Dataframe DF，这样：
个人中心
文章发布
退出df = pd.DataFrame({"EmpId":[1,2,3,...,99,100],
"Name":['Fred','Barney','Wilma',...,'Bam-Bam','Pebbles'],
"Age":[40,35,NaN,...,5,NaN]}
And I get a new dataframe df1 like:
我得到了一个新的数据帧df1，如：
df1 = pd.DataFrame({"EmpId":[3,...,100],
"Age":[30,...,6]})
The "EmpId"'s in df1 are a non-sequential set of id's which exist in df with "Age" values which are NaN in df. I am trying to fill the missing entries in df without duplicating or otherwise affecting the existing values.
I have tried pd.merge, which tries to add df1 as new columns in df (even when using suffixes=(False,False), pd.join has a similar effect)
I have tried using df.loc[df.EmpId == df1.EmpId, 'Age'] = df1.loc[df1.EmpId == df.EmpId, 'Age'] but whilst I can parse the information I require, won't seem to update df, it continues to have the NaN values.
I have tried df.update(df1) but get a Value Error.
I've even tried a for...if... construct with df.loc but none of these seem to work as I intend.df and df1 have different shapes.
If anyone has any ideas where I'm going wrong, I would appreciate your input.
Df1中的“EmpID”S是一组不连续的id，它们存在于df中，具有在df中为NaN的“Age”值。我正在尝试在不复制或以其他方式影响现有值的情况下填充df中缺少的条目。我尝试过pd.merge，它试图将df1作为新列添加到df中(即使使用Suffixs=(FALSE，FALSE)，pd.Join也有类似的效果)。我已经尝试使用df.loc[df.EmpID==df1.EmpId，‘Age’]=df1.loc[df1.EmpID==df.EmpID，‘Age’]，但是虽然我可以解析所需的信息，但似乎不会更新df，它仍然具有NaN值。我尝试了df.update(Df1)，但得到一个值错误。我甚至试过...如果..。使用df.loc构建，但这些似乎都不像我想要的那样工作。Df和df1具有不同的形状。如果任何人对我的错误之处有任何想法，我将感谢您的意见。
Your minimal example should be compete, please do not use ... and provide the exact matching expected output.
您的最小示例应该是竞争，请不要使用...并提供完全匹配的预期输出。
I think if you use set_index to make "EmpId" the index, then df.update(df1) should work, but I'm not sure why it's giving a ValueError now.
我认为如果您使用set_index将“EmpID”设置为索引，那么df.update(Df1)应该可以工作，但我不确定为什么它现在会给出一个ValueError。
If I understand the problem correctly, you can use merge + additional operations on result columns, while making sure you don't change the original values with ifnull function:
如果我正确理解了这个问题，您可以对结果列使用Merge+附加操作，同时确保不会使用ifull函数更改原始值：
df = pd.DataFrame({"EmpId":[1,2,3,99,100],
"Name":['Fred','Barney','Wilma','Bam-Bam','Pebbles'],
"Age":[40,35,np.NaN,5,np.NaN]})
df1 = pd.DataFrame({"EmpId":[3,100],
"Age":[30,6]})
df = df.merge(df1, on="EmpId", how="left", suffixes=("", "_filled"))
def ifnull(val, replace):
if val is None or pd.isna(val):
return replace
return val
df["Age"] = df[["Age", "Age_filled"]] \
.apply(lambda row: ifnull(row["Age"], row["Age_filled"]), axis=1)
df.drop("Age_filled", axis=1, inplace=True)
print(df)
Output:
产出：
EmpId Name Age
0 1 Fred 40.0
1 2 Barney 35.0
2 3 Wilma 30.0
3 99 Bam-Bam 5.0
4 100 Pebbles 6.0
This will only work if EmpId are in fact unique, as in your example.
这只有在EmpID实际上是唯一的情况下才会起作用，如您的示例所示。
27
4
0
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
我有一个 largeDataFrame(多列和数十亿行)和一个 smallDataFrame(单列和 10,000 行)。 只要 largeDataFrame 中的 some_identifier 列
我有一个函数，可以在其中规范化 DataFrame 的前 N 列。我想返回规范化的 DataFrame，但不要管原来的。然而，该函数似乎也会对传递的 DataFrame 进行变异! using D
我想在 Scala 中使用指定架构在 DataFrame 上创建。我尝试过使用 JSON 读取(我的意思是读取空文件)，但我认为这不是最佳实践。 最佳答案 假设您想要一个具有以下架构的数据框: roo
我正在尝试从数据框中删除一些列，并且不希望返回修改后的数据框并将其重新分配给旧数据框。相反，我希望该函数只修改数据框。这是我尝试过的，但它似乎并没有做我所除外的事情。我的印象是参数是作为引用传递的，而
我有一个包含大约 60000 个数据的庞大数据集。我会首先使用一些标准对整个数据集进行分组，接下来我要做的是将整个数据集分成标准内的许多小数据集，并自动对每个小数据集运行一个函数以获取参数对于每个小数
我遇到了以下问题，并有一个想法来解决它，但没有成功:我有一个月内每个交易日的 DAX 看涨期权和看跌期权数据。经过转换和一些计算后，我有以下 DataFrame: DaxOpt 。现在的目标是消除没有
我正在尝试做一些我认为应该是单行的事情，但我正在努力把它做好。 我有一个大数据框，我们称之为lg，还有一个小数据框，我们称之为sm。每个数据帧都有一个 start 和一个 end 列，以及多个其他列所
我有一个像这样的系列数据帧的数据帧: state1 state2 state3 ... sym1 sym
我有一个大约有 9k 行和 57 列的数据框，这是“df”。 我需要一个新的数据框:'df_final'- 对于“df”的每一行，我必须将每一行复制“x”次，并将每一行中的日期逐一增加，也就是“x”次
假设有一个 csv 文件如下: # data.csv 0,1,2,3,4 a,3.0,3.0,3.0,3.0,3.0 b,3.0,3.0,3.0,3.0,3.0 c,3.0,3.0,3.0,3.0,3
我只想知道是否有人对以下问题有更优雅的解决方案: 我有两个 Pandas DataFrame: import pandas as pd df1 = pd.DataFrame([[1, 2, 3], [
我有一个 pyspark 数据框，我需要将其转换为 python 字典。 下面的代码是可重现的: from pyspark.sql import Row rdd = sc.parallelize([R
我有一个 DataFrame，我想在 @chain 的帮助下对其进行处理。如何存储中间结果？ using DataFrames, Chain df = DataFrame(a = [1,1,2,2,2
我有一个包含 3 列的 DataFrame，名为 :x :y 和 :z，它们是 Float64 类型。 :x 和 "y 在 (0,1) 上是 iid uniform 并且 z 是 x 和 y 的总和。
这个问题在这里已经有了答案: pyspark dataframe filter or include based on list (3 个答案) 关闭 2 年前。 只是想知道是否有任何有效的方法来过
我刚找到这个包FreqTables ，它允许人们轻松地从 DataFrames 构建频率表(我正在使用 DataFrames.jl)。 以下代码行返回一个频率表: df = CSV.read("exa
是否有一种快速的方法可以为 sort 指定自定义订单？/sort!在 Julia DataFrames 上？ julia> using DataFrames julia> srand(1); juli
在 Python Pandas 和 R 中，可以轻松去除重复的列 - 只需加载数据、分配列名，然后选择那些不重复的列。 使用 Julia Dataframes 处理此类数据的最佳实践是什么？此处不允许
我是一名优秀的程序员,十分优秀！