python - 交互式条件直方图桶切片数据可视化

Question

我有一个 df 看起来像:

df.head()
Out[1]:
        A   B   C
city0   40  12  73
city1   65  56  10
city2   77  58  71
city3   89  53  49
city4   33  98  90

可以通过以下代码创建示例 df:

df = pd.DataFrame(np.random.randint(100,size=(1000000,3)), columns=list('ABC'))

indx = ['city'+str(x) for x in range(0,1000000)]
df.index = indx

我想做的是:

a) 为 A 列确定适当的直方图桶长度，并将每个城市分配给 A 列的桶

b) 为 B 列确定适当的直方图桶长度，并将每个城市分配给 B 列的桶

也许生成的 df 看起来像(或者 pandas 中是否有更好的内置方式？)

    df.head()
    Out[1]:
            A   B   C  Abkt Bbkt
    city0   40  12  73  2  1
    city1   65  56  10  4  3
    city2   77  58  71  4  3
    city3   89  53  49  5  3
    city4   33  98  90  2  5

其中 Abkt 和 Bbkt 是直方图桶标识符:

1-20 = 1
21-40 = 2
41-60 = 3
61-80 = 4
81-100 = 5

最终，我想更好地了解每个城市在 A、B 和 C 列方面的行为，并能够回答如下问题:

a) A 列(或 B 列)的分布情况如何 - 即哪些桶中人口最多/最少。

b) 以 A 列的特定切片/桶为条件，B 列的分布是什么样的 - 即哪些桶的人口最多/最少。

c) 以 A 列和 B 列的特定切片/桶为条件，C 的行为是什么样的。

理想情况下，我希望能够可视化数据(热图、区域标识符等)。我是一个相对的 pandas/python 新手，不知道可以开发什么。

如果 SO 社区可以提供代码示例，说明我如何做我想做的事情(或者如果有更好的 pandas/numpy/scipy 内置方法，则提供更好的方法)我将不胜感激。

此外，任何指向资源的指针都可以帮助我更好地总结/切片/切 block 我的数据，并能够在我进行分析时在中间步骤中进行可视化。

更新:

我正在关注评论中的一些建议。

我试过:

1) df.hist()

ValueError: The first argument of bincount must be non-negative

2) df[['A']].hist(bins=10,range=(0,10))

array([[<matplotlib.axes._subplots.AxesSubplot object at 0x000000A2350615C0>]], dtype=object)

#2 不是应该显示一个情节吗？而不是生成一个不被渲染的对象？我正在使用 jupyter notebook。

我需要在 Jupyter Notebook 中开启/启用某些东西来呈现直方图对象吗？

更新 2:

我通过以下方式解决了渲染问题:in Ipython notebook, Pandas is not displying the graph I try to plot.

更新 3:

根据评论的建议，我开始浏览 pandas visualization , bokeh和 seaborn .但是，我不确定如何在地 block 之间建立联系。

假设我有 10 个变量。我想探索它们，但由于 10 是一次探索的大量数字，假设我想在任何给定时间探索 5 (r、s、t、u、v)。

如果我想要一个带有边际分布图的交互式 hexbin 来检查 r 和 s 之间的关系，我如何在给定交互式区域选择/r 和 s 切片(多边形)的情况下查看 t、u 和 v 的分布。

我在这里找到了带有边际分布图的 hexbin hexbin plot :

但是:

1) 如何使这个交互(允许选择多边形)

2) 如何将 r & s 的区域选择链接到其他图，例如 t、u 和 v 的 3 个直方图图(或任何其他类型的图)。

这样，我可以更严格地浏览数据并深入探索其中的关系。

Answer 1

为了获得您正在寻找的交互效果，您必须将所有您关心的列合并在一起。

我能想到的最干净的方法是堆叠到一个系列然后使用pd.cut

考虑您的示例 df

df_ = pd.cut(df[['A', 'B']].stack(), 5, labels=list(range(5))).unstack()
df_.columns = df_.columns.to_series() + 'bkt'
pd.concat([df, df_], axis=1)

---

让我们构建一个更好的示例并查看使用 seaborn

的可视化

df = pd.DataFrame(dict(A=(np.random.randn(10000) * 100 + 20).astype(int),
                       B=(np.random.randn(10000) * 100 - 20).astype(int)))

import seaborn as sns

df.index = df.index.to_series().astype(str).radd('city')

df_ = pd.cut(df[['A', 'B']].stack(), 30, labels=list(range(30))).unstack()
df_.columns = df_.columns.to_series() + 'bkt'

sns.jointplot(x=df_.Abkt, y=df_.Bbkt, kind="scatter", color="k")

---

或者一些具有某种相关性的数据怎么样

mean, cov = [0, 1], [(1, .5), (.5, 1)]
data = np.random.multivariate_normal(mean, cov, 100000)
df = pd.DataFrame(data, columns=["A", "B"])

df.index = df.index.to_series().astype(str).radd('city')

df_ = pd.cut(df[['A', 'B']].stack(), 30, labels=list(range(30))).unstack()
df_.columns = df_.columns.to_series() + 'bkt'

sns.jointplot(x=df_.Abkt, y=df_.Bbkt, kind="scatter", color="k")

---

交互式背景虚化

不要太复杂

from bokeh.io import show, output_notebook, output_file

from bokeh.plotting import figure
from bokeh.layouts import row, column
from bokeh.models import ColumnDataSource, Select, CustomJS

output_notebook()

# generate random data
flips = np.random.choice((1, -1), (5, 5))
flips = np.tril(flips, -1) + np.triu(flips, 1) + np.eye(flips.shape[0])

half = np.ones((5, 5)) / 2
cov = (half + np.diag(np.diag(half))) * flips
mean = np.zeros(5)

data = np.random.multivariate_normal(mean, cov, 10000)
df = pd.DataFrame(data, columns=list('ABCDE'))

df.index = df.index.to_series().astype(str).radd('city')

# Stack and cut to get dependent relationships
b = 20
df_ = pd.cut(df.stack(), b, labels=list(range(b))).unstack()

# assign default columns x and y.  These will be the columns I set bokeh to read
df_[['x', 'y']] = df_.loc[:, ['A', 'B']]

source = ColumnDataSource(data=df_)

tools = 'box_select,pan,box_zoom,wheel_zoom,reset,resize,save'

p = figure(plot_width=600, plot_height=300)
p.circle('x', 'y', source=source, fill_color='olive', line_color='black', alpha=.5)

def gcb(like, n):
    code = """
    var data = source.get('data');
    var f = cb_obj.get('value');
    data['{0}{1}'] = data[f];
    source.trigger('change');
    """
    return CustomJS(args=dict(source=source), code=code.format(like, n))

xcb = CustomJS(
    args=dict(source=source),
    code="""
    var data = source.get('data');
    var colm = cb_obj.get('value');
    data['x'] = data[colm];
    source.trigger('change');
    """
)

ycb = CustomJS(
    args=dict(source=source),
    code="""
    var data = source.get('data');
    var colm = cb_obj.get('value');
    data['y'] = data[colm];
    source.trigger('change');
    """
)

options = list('ABCDE')
x_select = Select(options=options, callback=xcb, value='A')
y_select = Select(options=options, callback=ycb, value='B')


show(column(p, row(x_select, y_select)))