python - 将列表从数据帧转换为 numpy 数组

Question

我正在使用 python 客户端访问 Google BigQuery 中存储为数组的一些向量:

df = client.query(sql).to_dataframe()

生成的数据框有一个列，如下所示:

    page_vector
0   [0.11585406959056854, 0.4495273232460022, -0.0...
1   [0.3589635491371155, 0.529633104801178, 0.3646...
2   [0.05760370194911957, 0.10355205088853836, 0.7...
3   [0.12493933737277985, 0.7082784175872803, 0.26...
4   [-0.660869300365448, -0.5055545568466187, -0.2...

现在我想对这些向量值进行各种计算，例如计算平均值、余弦相似度等。

我的问题是这些值存储为列表数组(我相信)，并且我无法将它们转换为常规 numpy 数组。

df.values

array([[list([0.11585406959056854, 0.4495273232460022, -0.06741087883710861, 0.009115549735724926, 0.03358231857419014, 0.3813880980014801, 0.5367750525474548, 0.1125958263874054, -0.04873140528798103, -0.15494178235530853])],
       [list([0.3589635491371155, 0.529633104801178, 0.3646768629550934, -0.5236702561378479, -0.20803043246269226, -0.40205657482147217, 0.9097139835357666, 0.3311547636985779, -0.10366004705429077, -0.31620144844055176])],
       [list([0.05760370194911957, 0.10355205088853836, 0.7606179118156433, -0.40389031171798706, -0.4287498891353607, -0.5946164727210999, 1.470175862312317, 0.12346278876066208, -0.13954032957553864, -0.4611101448535919])],
       [list([0.12493933737277985, 0.7082784175872803, 0.26176416873931885, 0.04834984615445137, -0.1890079379081726, -0.2270711362361908, 0.8319875597953796, 0.39853358268737793, -0.11916585266590118, -0.5312120318412781])],
       [list([-0.660869300365448, -0.5055545568466187, -0.260611891746521, 0.6198488473892212, 0.07465806603431702, 0.6059150099754333, -0.548044741153717, 0.38490045070648193, -0.49995312094688416, 0.1975364089012146])]],
      dtype=object)

我应该如何将 BigQuery 的结果处理为可用于各种计算的结果？

我尝试了很多途径，例如:df.apply(lambda x: np.asarray(x, dtype=float))

Answer 1

检查您的df info或dtypes。该列是object dtype。

df.values 生成一个二维数组，在本例中为 (n,1) 形状，逐行排列。

df.values[:,0] 应该是 (n,) 形状数组。您还可以在使用值之前选择列。 Series.values 生成一个一维数组(仍然是对象数据类型)。

np.stack(df.values[:,0]) 应该生成一个二维数组，前提是列表的大小都相同。这将逐行连接列表。

并将其与 tolist 方法进行比较。查看生成的列表列表。

查看 pandas 文档，您会发现虽然 Series 有 tolist 方法，但 DataFrame 没有.

In [60]: df1                                                                    
Out[60]: 
           1
0  [1, 2, 3]
1  [2, 3, 4]
2  [3, 4, 5]

In [62]: df1.values                                                             
Out[62]: 
array([[list([1, 2, 3])],
       [list([2, 3, 4])],
       [list([3, 4, 5])]], dtype=object)

In [63]: df1.values.shape                                                       
Out[63]: (3, 1)

In [64]: df1.values[:,0]                                                        
Out[64]: array([list([1, 2, 3]), list([2, 3, 4]), list([3, 4, 5])], dtype=object)
In [65]: np.stack(df1.values[:,0])                                              
Out[65]: 
array([[1, 2, 3],
       [2, 3, 4],
       [3, 4, 5]])

tolist 不适用于数据框，仅适用于系列:

In [69]: df1.tolist()                                                           
AttributeError: 'DataFrame' object has no attribute 'tolist'

In [70]: df1[1].tolist()                                                        
Out[70]: [[1, 2, 3], [2, 3, 4], [3, 4, 5]]

系列中的值:

In [72]: df1[1].values                                                          
Out[72]: array([list([1, 2, 3]), list([2, 3, 4]), list([3, 4, 5])], dtype=object)