- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
(与 this answer 相关)
给定一个 df
,我期待得到 df.expanding()
的结果并使用 df
对此执行一些多元操作(涉及 .apply()
的多个列的操作同时在扩展的行窗口上进行) .事实证明这是不可能的。
所以,就像上面链接的答案一样,我需要使用 numpy.as_strides
的 df
.除了,与上面链接的问题相反,使用 strides 来扩展我的 df
的 View 。 ,而不是滚动窗口(扩展窗口的左侧固定,右侧逐渐向右移动)。
考虑这个df
:
import numpy
import pandas
df = pandas.DataFrame(numpy.random.normal(0, 1, [100, 2]), columns=['size_A', 'size_B']).cumsum(axis=0)
考虑此代码以提取 W
的滚动窗口那行 df
(这来自上面的答案):
def get_sliding_window(df, W):
a = df.values
s0,s1 = a.strides
m,n = a.shape
return numpy.lib.stride_tricks\
.as_strided(a,shape=(m-W+1,W,n),strides=(s0,s0,s1))
roll_window = get_sliding_window(df, W = 3)
roll_window[2]
现在我要修改get_sliding_window
让它返回df 的扩展窗口(而不是滚动窗口):
def get_expanding_window(df):
a = df.values
s0,s1 = a.strides
m,n = a.shape
out = numpy.lib.stride_tricks\
.as_strided(a, shape=(m,m,n),strides=(s0,s0,s1))
return out
expg_window = get_expanding_window(df)
expg_window[2]
但我没有使用 as_strided
的参数正确地:我似乎无法获得正确的矩阵——那将是这样的:
[df.iloc[0:1].values ,df.iloc[0:2].values, df.iloc[0:3].values,...]
@ThomasKühn 在评论中建议使用列表理解。这将解决问题,但速度太慢。费用是多少?
一个向量值函数,我们可以比较成本列表理解 .expand()
.它不小:
numpy.random.seed(123)
df = pandas.DataFrame((numpy.random.normal(0, 1, 10000)), columns=['Value'])
%timeit method_1 = numpy.array([df.Value.iloc[range(j + 1)].sum() for j in range(df.shape[0])])
给出:
6.37 s ± 219 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
与 .expanding()
相比:
%timeit method_2 = df.expanding(0).apply(lambda x: x.sum())
给出:
35.5 ms ± 356 µs per loop (mean ± std. dev. of 7 runs, 10 loops each)
最后,关于我要解决的问题有更多的细节在对 this 的评论中问题。
最佳答案
我写了几个函数,它们都应该做同样的事情,但需要不同的时间来完成任务:
import timeit
import numba as nb
x = np.random.normal(0,1,(10000,2))
def f1():
res = [np.sum(x[:i,0] > x[i,1]) for i in range(x.shape[0])]
return res
def f2():
buf = np.empty(x.shape[0])
res = np.empty(x.shape[0])
for i in range(x.shape[0]):
buf[:i] = x[:i,0] > x[i,1]
res[i] = np.sum(buf[:i])
return res
def f3():
res = np.empty(x.shape[0])
for i in range(x.shape[0]):
res[i] = np.sum(x[:i,0] > x[i,1])
return res
@nb.jit(nopython=True)
def f2_nb():
buf = np.empty(x.shape[0])
res = np.empty(x.shape[0])
for i in range(x.shape[0]):
buf[:i] = x[:i,0] > x[i,1]
res[i] = np.sum(buf[:i])
return res
@nb.jit(nopython=True)
def f3_nb():
res = np.empty(x.shape[0])
for i in range(x.shape[0]):
res[i] = np.sum(x[:i,0] > x[i,1])
return res
##checking that all functions give the same result:
print('checking correctness')
print(np.all(f1()==f2()))
print(np.all(f1()==f3()))
print(np.all(f1()==f2_nb()))
print(np.all(f1()==f3_nb()))
print('+'*50)
print('performance tests')
print('f1()')
print(min(timeit.Timer(
'f1()',
setup = 'from __main__ import f1,x',
).repeat(7,10)))
print('-'*50)
print('f2()')
print(min(timeit.Timer(
'f2()',
setup = 'from __main__ import f2,x',
).repeat(7,10)))
print('-'*50)
print('f3()')
print(min(timeit.Timer(
'f3()',
setup = 'from __main__ import f3,x',
).repeat(7,10)))
print('-'*50)
print('f2_nb()')
print(min(timeit.Timer(
'f2_nb()',
setup = 'from __main__ import f2_nb,x',
).repeat(7,10)))
print('-'*50)
print('f3_nb()')
print(min(timeit.Timer(
'f3_nb()',
setup = 'from __main__ import f3_nb,x',
).repeat(7,10)))
如您所见,差异并不大,但在性能上存在一些差异。最后两个函数只是早期函数的“重复”,但使用了 numba
优化。速度测试的结果是
checking correctness
True
True
True
True
++++++++++++++++++++++++++++++++++++++++++++++++++
performance tests
f1()
2.02294262702344
--------------------------------------------------
f2()
3.0964318679762073
--------------------------------------------------
f3()
1.9573561699944548
--------------------------------------------------
f2_nb()
1.3796060049789958
--------------------------------------------------
f3_nb()
0.48667875200044364
如您所见,差异并不大,但在最慢和最快的函数之间,加速比大约是 6 倍。希望这会有所帮助。
关于python - 提取 DataFrame 的扩展窗口(numpy strided),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/48822715/
https://github.com/mattdiamond/Recorderjs/blob/master/recorder.js中的代码 我不明白 JavaScript 语法,比如 (functio
在 iOS 7 及更早版本中,如果我们想在应用程序中找到 topMostWindow,我们通常使用以下代码行 [[[UIApplication sharedApplication] windows]
我已经尝试解决这个问题很长一段时间了:我无法访问窗口的 url,因为它位于另一个域上..有一些解决方案吗? function login() { var cb = window.ope
是否可以将 FFMPEG 视频流传递到 C# 窗口?现在它在新窗口中作为新进程打开,我只是想将它传递给我自己的 SessionWindow。 此时我像这样执行ffplay: public void E
我有一个名为 x 的矩阵看起来像这样: pTime Close 1 1275087600 1.2268 2 1275264000 1.2264 3 1275264300 1.2
在编译时,发生搜索,grep搜索等,Emacs会在单独的窗口中创建一个新的缓冲区来显示结果,有没有自动跳转到那个窗口的方法?这很有用,因为我可以使用 n 和 p 而不是 M-g n 和 M-g p 移
我有一个启动 PowerShell 脚本的批处理文件。 批处理文件: START Powershell -executionpolicy RemoteSigned -noexit -file "MyS
我有一个基于菜单栏的应用程序,单击图标时会显示一个窗口。在 Mac OS X Lion 上一切正常,但由于某种原因,在 Snow Leopard 和早期版本的 Mac OS X 上会出现错误。任何时候
在 macOS 中,如何在 Xcode 和/或 Interface Builder 中创建带有“集成标题栏和工具栏”的窗口? 这是“宽标题栏”类型的窗口,已添加到 OS X 10.10 Yosemit
在浏览器 (Chrome) 中 JavaScript: var DataModler = { Data: { Something: 'value' }, Process: functi
我有 3 个 html 页面。第 1 页链接到第 2 页,第 2 页链接到第 3 页(为了简单起见)。 我希望页面 2 中的链接打开页面 3 并关闭页面 1(选项卡 1)。 据我了解,您无法使用 Ja
当点击“创建节点”按钮时,如何打开一个新的框架或窗口?我希望新框架包含一个文本字段和下拉菜单,以便用户可以选择一个选项。 Create node Search node
我有一个用户控件,用于编辑应用程序中的某些对象。 我最近遇到一个实例,我想弹出一个新的对话框(窗口)来托管此用户控件。 如何实例化新窗口并将需要设置的任何属性从窗口传递到用户控件? 感谢您的宝贵时间。
我有一个Observable,它发出许多对象,我想使用window或buffer操作对这些对象进行分组。但是,我不想指定count参数来确定窗口中应包含多少个对象,而是希望能够使用自定义条件。 例如,
我有以下代码,它打开一个新的 JavaFX 阶段(我们称之为窗口)。 openAlertBox.setOnAction(e -> { AlertBox alert = AlertBox
我要添加一个“在新窗口中打开”上下文菜单项,该菜单项将以新的UIScene打开我的应用程序文档之一。当然,我只想在实际上支持多个场景的设备上显示该菜单项。 目前,我只是在检查设备是否是使用旧设备的iP
我正在尝试创建一个 AIR 应用程序来记录应用程序的使用情况,使用 AIR 从系统获取信息的唯一简单方法是使用命令行工具和抓取 标准输出 . 我知道像 这样的工具顶部 和 ps 对于 OS X,但它们
所以我有这个简单的 turtle 螺旋制作器,我想知道是否有一种方法可以打印出由该程序创建的我的设计副本。 代码: import turtle x= float(input("Angle: ")) y
我正在编写一个 C# WPF 程序,它将文本消息发送到另一个程序的窗口。我有一个宏程序作为我的键盘驱动程序 (Logitech g15) 的一部分,它已经这样做了,尽管它不会将击键直接发送到进程,而是
我尝试使用以下代码通过 UDP 发送,但得到了奇怪的结果。 if((sendto(newSocket, sendBuf, totalLength, 0, (SOCKADDR *)&sendAd
我是一名优秀的程序员,十分优秀!