- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我有一个存储在 HDF5 文件中的大型 Pandas Dataframe。Dataframe 是具有 Datetime 和 PatientID 的多索引。
store = pd.HDFStore('prepro_mon.h5',mode='r')
print(store.get_storer('raw_import').levels)
Out: ['Datetime', 'PatientID']
但按患者 ID 过滤 Select 语句不起作用。
store.select('raw_import', where='PatientID = 88000')
我收到这个错误
Traceback (most recent call last):
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 4660, in generate
return Expr(where, queryables=q, encoding=self.table.encoding)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\pytables.py", line 524, in __init__
self.terms = self.parse()
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 742, in parse
return self._visitor.visit(self.expr)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 312, in visit
return visitor(node, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 318, in visit_Module
return self.visit(expr, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 312, in visit
return visitor(node, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 321, in visit_Expr
return self.visit(node.value, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 312, in visit
return visitor(node, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 643, in visit_Compare
return self.visit(binop)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 312, in visit
return visitor(node, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 415, in visit_BinOp
op, op_class, left, right = self._possibly_transform_eq_ne(node)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 353, in _possibly_transform_eq_ne
left = self.visit(node.left, side='left')
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 312, in visit
return visitor(node, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\expr.py", line 429, in visit_Name
return self.term_type(node.id, self.env, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\pytables.py", line 41, in __init__
super(Term, self).__init__(name, env, side=side, encoding=encoding)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\ops.py", line 58, in __init__
self._value = self._resolve_name()
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\computation\pytables.py", line 47, in _resolve_name
raise NameError('name {0!r} is not defined'.format(self.name))
NameError: name 'PatientID' is not defined
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "H:\OxygenationIndex\dataloaderOIFeatures.py", line 51, in <module>
store.select('raw_import', where='PatientID = 88000')
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 724, in select
return it.get_result()
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 1423, in get_result
results = self.func(self.start, self.stop, where)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 717, in func
columns=columns, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 4266, in read
df = super(AppendableMultiFrameTable, self).read(**kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 4086, in read
if not self.read_axes(where=where, **kwargs):
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 3287, in read_axes
self.selection = Selection(self, where=where, **kwargs)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 4647, in __init__
self.terms = self.generate(where)
File "C:\Program Files\Anaconda3\lib\site-packages\pandas\io\pytables.py", line 4672, in generate
.format(where, ','.join(q.keys()))
ValueError: The passed where expression: PatientID = 88000
contains an invalid variable reference
all of the variable refrences must be a reference to
an axis (e.g. 'index' or 'columns'), or a data_column
The currently defined references are: SvO2,AWPMean,peep_s,SpO2,fiO2_m,TempCentral,tv_m,fiO2_s,HF,RR_s,TempPeri,etCO2,tv_s,peep_m,peakP_m,RR_m,columns,StayMinutes,VentMode,plateauP,index
非常感谢任何帮助。我不确定这是否是一个错误,因为我一直在阅读它应该可以按索引查询。
最佳答案
在使用 data_columns=True
参数保存 HDF 文件时,我可能会重现此错误。
演示:
index = pd.MultiIndex.from_product([pd.date_range('20170101',periods=4),
np.arange(1,5)],
names=['Datetime','PatientID'])
df = pd.DataFrame(dict(id2=np.random.randint(0, 1000, size=len(index)),
w=np.random.randn(len(index))),
index=index).reset_index().set_index(['Datetime','PatientID'])
df
产量:
In [54]: df
Out[54]:
id2 w
Datetime PatientID
2017-01-01 1 735 0.223941
2 262 1.057944
3 521 1.075384
4 500 0.932443
2017-01-02 1 372 -0.780629
2 489 -1.137088
3 836 1.862521
4 490 -1.150150
2017-01-03 1 366 -1.411923
2 763 -1.509591
3 779 -0.537362
4 672 0.312881
2017-01-04 1 549 1.670399
2 90 -2.265253
3 856 -0.780087
4 571 -0.498892
现在让我们将它保存到 HDF 文件中 - 一次不指定 data_columns
(默认值:None
),一次使用 data_columns=True
:
store = pd.HDFStore('d:/temp/41482523.h5', complib='blosc', complevel=9)
store.append('no_dc', df)
store.append('dc_true', df, data_columns=True)
两者具有相同的索引级别:
In [61]: store.get_storer('no_dc').levels
Out[61]: ['Datetime', 'PatientID']
In [62]: store.get_storer('dc_true').levels
Out[62]: ['Datetime', 'PatientID']
让我们尝试使用 where
子句进行选择:
In [63]: store.select('no_dc', where="PatientID==4")
Out[63]:
id2 w
Datetime PatientID
2017-01-01 4 500 0.932443
2017-01-02 4 490 -1.150150
2017-01-03 4 672 0.312881
2017-01-04 4 571 -0.498892
In [64]: store.select('dc_true', where="PatientID==4")
...
skipped
...
NameError: name 'PatientID' is not defined
...
skipped
...
ValueError: The passed where expression: PatientID==4
contains an invalid variable reference
all of the variable refrences must be a reference to
an axis (e.g. 'index' or 'columns'), or a data_column
The currently defined references are: columns,index,id2,w
解决方案:
如果你想索引列,你可以使用下面的技巧:
store.append('dc_all_cols', df, data_columns=df.iloc[[0]].reset_index().columns.tolist())
生成所有列的列表,包括 MultiIndex 列:
In [70]: df.iloc[[0]].reset_index().columns.tolist()
Out[70]: ['Datetime', 'PatientID', 'id2', 'w']
测试 select(where="...")
:
In [66]: store.select('dc_all_cols', where="PatientID==4")
Out[66]:
id2 w
Datetime PatientID
2017-01-01 4 500 0.932443
2017-01-02 4 490 -1.150150
2017-01-03 4 672 0.312881
2017-01-04 4 571 -0.498892
商店信息:
In [65]: store
Out[65]:
<class 'pandas.io.pytables.HDFStore'>
File path: d:/temp/41482523.h5
/dc_all_cols frame_table (typ->appendable_multi,nrows->16,ncols->4,indexers->[index],dc->[Datetime,PatientID,id2,w])
/dc_true frame_table (typ->appendable_multi,nrows->16,ncols->4,indexers->[index],dc->[id2,w])
/no_dc frame_table (typ->appendable_multi,nrows->16,ncols->4,indexers->[index],dc->[PatientID,Datetime])
HDF 存储中的索引列:
In [71]: store.get_storer('no_dc').table.colindexes
Out[71]:
{
"Datetime": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"index": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"PatientID": Index(6, medium, shuffle, zlib(1)).is_csi=False}
In [72]: store.get_storer('dc_true').table.colindexes
Out[72]:
{
"index": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"id2": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"w": Index(6, medium, shuffle, zlib(1)).is_csi=False}
In [73]: store.get_storer('dc_all_cols').table.colindexes
Out[73]:
{
"w": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"index": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"PatientID": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"id2": Index(6, medium, shuffle, zlib(1)).is_csi=False,
"Datetime": Index(6, medium, shuffle, zlib(1)).is_csi=False}
关于python - 具有按索引值选择多索引的 Pandas HDFStore 找不到列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/41482523/
我的问题:非常具体。我正在尝试想出解析以下文本的最简单方法: ^^domain=domain_value^^version=version_value^^account_type=account_ty
好吧,这就是我的困境: 我正在为 Reddit 子版 block 开发常见问题解答机器人。我在 bool 逻辑方面遇到了麻烦,需要一双更有经验的眼睛(这是我在 Python 中的第一次冒险)。现在,该
它首先遍历所有 y 值,然后遍历所有 x 值。我需要 X 和 y 同时改变。 For x = 3 To lr + 1 For y = 2 To lr anyl.Cells(x, 1)
假设我有一个包含 2 列的 Excel 表格:单元格 A1 到 A10 中的日期和 B1 到 B10 中的值。 我想对五月日期的所有值求和。我有3种可能性: {=SUM((MONTH(A1:A10)=
如何转换 Z-score来自 Z-distribution (standard normal distribution, Gaussian distribution)到 p-value ?我还没有找到
我正在重写一些 Javascript 代码以在 Excel VBA 中工作。由于在这个网站上搜索,我已经设法翻译了几乎所有的 Javascript 代码!但是,有些代码我无法准确理解它在做什么。这是一
我遇到过包含日期格式的时间戳日期的情况。然后我想构建一个图表,显示“点击”项目的数量“每天”, //array declaration $array1 = array("Date" => 0); $a
我是scala的新手! 我的问题是,是否有包含成员的案例类 myItem:Option[String] 当我构造类时,我需要将字符串内容包装在: Option("some string") 要么 So
我正在用 PHP 创建一个登录系统。我需要用户使用他或她的用户名或电子邮件或电话号码登录然后使用密码。因为我知道在 Java 中我们会像 email==user^ username == user 这
我在 C++ 项目上使用 sqlite,但是当我在具有文本值的列上使用 WHERE 时出现问题 我创建了一个 sqlite 数据库: CREATE TABLE User( id INTEGER
当构造函数是显式时,它不用于隐式转换。在给定的代码片段中,构造函数被标记为 explicit。那为什么在 foo obj1(10.25); 情况下它可以工作,而在 foo obj2=10.25; 情况
我知道这是一个主观问题,所以如果需要关闭它,我深表歉意,但我觉得它经常出现,让我想知道是否普遍偏爱一种形式而不是另一种形式。 显然,最好的答案是“重构代码,这样你就不需要测试是否存在错误”,但有时没有
这两个 jQuery 选择器有什么区别? 以下是来自 w3schools.com 的定义: [attribute~=value] 选择器选择带有特定属性,其值包含特定字符串。 [attribute*=
为什么我们需要CSS [attribute|=value] Selector根本当 CSS3 [attribute*=value] Selector基本上完成相同的事情,浏览器兼容性几乎相似?是否存在
我正在解决 regx 问题。我已经有一个像这样的 regx [0-9]*([.][0-9]{2})。这是 amont 格式验证。现在,通过此验证,我想包括不应提供 0 金额。比如 10 是有效的,但
我正在研究计算机科学 A 考试的样题,但无法弄清楚为什么以下问题的正确答案是正确的。 考虑以下方法。 public static void mystery(List nums) { for (
好的,我正在编写一个 Perl 程序,它有一个我收集的值的哈希值(完全在一个完全独立的程序中)并提供给这个 Perl 脚本。这个散列是 (string,string) 的散列。 我想通过 3 种方式对
我有一个表数据如下,来自不同的表。仅当第三列具有值“债务”并且第一列(日期)具有最大值时,我才想从第四列中获取最大值。最终值基于 MAX(DATE) 而不是 MAX(PRICE)。所以用简单的语言来说
我有一个奇怪的情况,只有错误状态保存到数据库中。当“状态”应该为 true 时,我的查询仍然执行 false。 我有具有此功能的 Controller public function change_a
我有一个交易表(针对所需列进行了简化): id client_id value 1 1 200 2 2 150 3 1
我是一名优秀的程序员,十分优秀!