machine-learning - 如何在内存有限的巨大图像数据集上应用zca？

Question

谷歌告诉我的是:

1. 对于keras，ImageDataGenerator函数似乎有一个可以开箱即用的zca_whitening。但如果设置了此选项，则需要在整个数据集 X 上调用 ImageDataGenerator.fit。所以这不是一个选项。

2. 对于sklearn，IncrementalPCA似乎可以处理巨大的数据集，但我不知道如何以生成器样式将PCA旋转为ZCA。

感谢您的帮助!

Answer 1

我定义了一个可能对 ZCA transformation 有帮助的函数。 :

def ZCAtransform(X,IPCA_model): 
      # get the Eigenvectors and Eigenvalues
      U = IPCA_model.components_.transpose()
      S = np.sqrt(IPCA_model.explained_variance_) 
      Xdemeand = (X-np.mean(X,0)).transpose()

      #get the transformed data 
      # Xproj' =  U * diag(1/(S+I*epsilon)) * U' * X_data 
      return (U.dot(np.diag(1/(S+IPCA_model.noise_variance_))).dot(U.transpose()).dot(Xdemeand)).transpose()

Xproj = ZCAtransform(X, ipca)

按照给定的example在 Scikit-learn，我能够生成 Iris 数据集的 ZCA，如下所示:

ZCA Whitened PCA