- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一些高度结构化的数据,我正在尝试将其转换为一组数据点序列,以便使用 Keras 对数据进行序列预测。数据应为形状为 (sequence_count, max_sequence_length, feature_count)
的 3D 数组。然而,存储的数据被组织成比这更多的级别。
例如,在下面的设计数据中,我需要为每个 DYAD
中的每个 GAME_TURN
中的每个 UTTERANCE
创建一个序列,其中实际特征是WORD
和SCORE
,SEQ_ORDINALITY
是每个数据点在给定序列中出现的顺序:
DYAD | GAME_TURN | UTTERANCE | SEQ_ORDINALITY | WORD | SCORE
1 | 1 | 1 | 1 | it | 0.48
1 | 1 | 1 | 2 | is | 0.22
1 | 1 | 1 | 3 | yellow | 0.81
1 | 1 | 2 | 1 | the | 0.18
1 | 1 | 2 | 2 | big | 0.52
1 | 1 | 2 | 3 | one | 0.61
1 | 2 | 1 | 1 | now | 0.45
1 | 2 | 1 | 2 | it | 0.34
1 | 2 | 1 | 3 | is | 0.55
1 | 2 | 1 | 4 | green | 0.66
2 | 1 | 1 | 1 | okay | 0.23
2 | 1 | 1 | 2 | shall | 0.32
2 | 1 | 1 | 3 | we | 0.43
2 | 1 | 1 | 4 | start | 0.33
然后我怎样才能以最惯用的(pandaic?)方式获得分组(dyad,game_turn,utterance)
的每个(单词,分数)
? - 我假设有一种比例如更优雅的方式来做到这一点迭代每组(dyad, game_turn, utterance)
中的每一行。
目前,我能够对序列进行分组并找到开始和结束数据点,但我不知道下一步该做什么:我的猜测是使用 DataFrame.pivot(..)
或DataFrame.stack(..)
reshape 数据或为每个组添加特殊的“开始”和“结束”行标记,然后使用这些行作为分隔符迭代分割原始 DataFrame
。有效的逻辑如下:
import pandas as pd
def read_token_sequences(infile):
df = pd.read_csv(infile)
utt_token_groups = df.groupby(("DYAD", "GAME_TURN", "UTTERANCE"))
# (sequence_count, max_sequence_length, feature_count)
sequences = utt_token_groups.apply(create_sequence)
def create_sequence(df: pd.DataFrame):
# TODO: create a 2D array of (sequence_length, features)
# with actual sequence length padded to equal max_sequence_length
# Possibilities: "DataFrame.stack(..)" or "DataFrame.pivot(..)"?
# Other possibility: Append a special "start sequence" row
# with "start["SEQ_ORDINALITY"] == df["SEQ_ORDINALITY"].min() - 1"
# and an "end sequence" row
# with "end["SEQ_ORDINALITY"] == df["SEQ_ORDINALITY"].max() + 1"
# Start of sequence
first_token = df.loc[df["SEQ_ORDINALITY"].idxmin()]
start = pd.Series(first_token, copy=True)
start["SEQ_ORDINALITY"] = result["SEQ_ORDINALITY"] - 1
# End of sequence
last_token = df.loc[df["SEQ_ORDINALITY"].idxmax()]
end = pd.Series(last_token, copy=True)
end["SEQ_ORDINALITY"] = result["SEQ_ORDINALITY"] + 1
对于上面的示例数据,输出数组可能如下所示:
[
[["it", 0.48], ["is", 0.22], ["yellow", 0.81]],
[["the", 0.18], ["big", 0.52], ["one", 0.61]],
[["now", 0.45], ["it", 0.34], ["is", 0.55], ["green", 0.66]],
[["okay", 0.23], ["shall", 0.32], ["we", 0.43], ["start", 0.33]]
]
最佳答案
这是 groupby 的一种方法,即
df['new'] = (df['SEQ_ORDINALITY'].diff() != 1).cumsum().values
如果您没有序列,则将新列设置为:
df.sort_values("SEQ_ORDINALITY", inplace=True)
sequences = df.groupby(['DYAD','GAME_TURN','UTTERANCE'])
sequences['WORD','SCORE'].apply(lambda x : x.values.tolist()).tolist()
[[['it', 0.48], ['is', 0.22], ['yellow', 0.81]],
[['the', 0.18], ['big', 0.52], ['one', 0.61]],
[['now', 0.45], ['it', 0.34], ['is', 0.55], ['green', 0.66]],
[['okay', 0.23], ['shall', 0.32], ['we', 0.43], ['start', 0.33]]]
关于python - 将分组的 pandas DataFrame 转换为 3 维数组以进行序列预测,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47815004/
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
假设我有 3 个 DataFrame。其中一个 DataFrame 的列名不在其他两个中。 using DataFrames df1 = DataFrame([['a', 'b', 'c'], [1,
我有一个 largeDataFrame(多列和数十亿行)和一个 smallDataFrame(单列和 10,000 行)。 只要 largeDataFrame 中的 some_identifier 列
我有一个函数,可以在其中规范化 DataFrame 的前 N 列。我想返回规范化的 DataFrame,但不要管原来的。然而,该函数似乎也会对传递的 DataFrame 进行变异! using D
我想在 Scala 中使用指定架构在 DataFrame 上创建。我尝试过使用 JSON 读取(我的意思是读取空文件),但我认为这不是最佳实践。 最佳答案 假设您想要一个具有以下架构的数据框: roo
我正在尝试从数据框中删除一些列,并且不希望返回修改后的数据框并将其重新分配给旧数据框。相反,我希望该函数只修改数据框。这是我尝试过的,但它似乎并没有做我所除外的事情。我的印象是参数是作为引用传递的,而
我有一个包含大约 60000 个数据的庞大数据集。我会首先使用一些标准对整个数据集进行分组,接下来我要做的是将整个数据集分成标准内的许多小数据集,并自动对每个小数据集运行一个函数以获取参数对于每个小数
我遇到了以下问题,并有一个想法来解决它,但没有成功:我有一个月内每个交易日的 DAX 看涨期权和看跌期权数据。经过转换和一些计算后,我有以下 DataFrame: DaxOpt 。现在的目标是消除没有
我正在尝试做一些我认为应该是单行的事情,但我正在努力把它做好。 我有一个大数据框,我们称之为lg,还有一个小数据框,我们称之为sm。每个数据帧都有一个 start 和一个 end 列,以及多个其他列所
我有一个像这样的系列数据帧的数据帧: state1 state2 state3 ... sym1 sym
我有一个大约有 9k 行和 57 列的数据框,这是“df”。 我需要一个新的数据框:'df_final'- 对于“df”的每一行,我必须将每一行复制“x”次,并将每一行中的日期逐一增加,也就是“x”次
假设有一个 csv 文件如下: # data.csv 0,1,2,3,4 a,3.0,3.0,3.0,3.0,3.0 b,3.0,3.0,3.0,3.0,3.0 c,3.0,3.0,3.0,3.0,3
我只想知道是否有人对以下问题有更优雅的解决方案: 我有两个 Pandas DataFrame: import pandas as pd df1 = pd.DataFrame([[1, 2, 3], [
我有一个 pyspark 数据框,我需要将其转换为 python 字典。 下面的代码是可重现的: from pyspark.sql import Row rdd = sc.parallelize([R
我有一个 DataFrame,我想在 @chain 的帮助下对其进行处理。如何存储中间结果? using DataFrames, Chain df = DataFrame(a = [1,1,2,2,2
我有一个包含 3 列的 DataFrame,名为 :x :y 和 :z,它们是 Float64 类型。 :x 和 "y 在 (0,1) 上是 iid uniform 并且 z 是 x 和 y 的总和。
这个问题在这里已经有了答案: pyspark dataframe filter or include based on list (3 个答案) 关闭 2 年前。 只是想知道是否有任何有效的方法来过
我刚找到这个包FreqTables ,它允许人们轻松地从 DataFrames 构建频率表(我正在使用 DataFrames.jl)。 以下代码行返回一个频率表: df = CSV.read("exa
是否有一种快速的方法可以为 sort 指定自定义订单?/sort!在 Julia DataFrames 上? julia> using DataFrames julia> srand(1); juli
在 Python Pandas 和 R 中,可以轻松去除重复的列 - 只需加载数据、分配列名,然后选择那些不重复的列。 使用 Julia Dataframes 处理此类数据的最佳实践是什么?此处不允许
我是一名优秀的程序员,十分优秀!