java - 从图像样本中获取卷积矩阵？

Question

我正在尝试为 Motorola Gallery App 上的过滤器反编译卷积矩阵。

我使用以下代码读取像素数据:

public static void main(String[] foo) {
new JavaWalkBufferedImageTest1();
}

public void printPixelARGB(int pixel) {
int alpha = (pixel >> 24) & 0xff;
int red = (pixel >> 16) & 0xff;
int green = (pixel >> 8) & 0xff;
int blue = (pixel) & 0xff;
System.out.println("argb: " + alpha + ", " + red + ", " + green + ", " + blue);
}

private void marchThroughImage(BufferedImage image) {
int w = image.getWidth();
int h = image.getHeight();
System.out.println("width, height: " + w + ", " + h);

for (int i = 0; i < h; i++) {
  for (int j = 0; j < w; j++) {
    System.out.println("x,y: " + j + ", " + i);
    int pixel = image.getRGB(j, i);
    printPixelARGB(pixel);
    System.out.println("");
  }
}
}

  public JavaWalkBufferedImageTest1() {
  try {
  // get the BufferedImage, using the ImageIO class
  BufferedImage image = 
    ImageIO.read(this.getClass().getResource("WhiteSpot.jpg"));
  marchThroughImage(image);
} catch (IOException e) {
  System.err.println(e.getMessage());
}
}

它给出了所需的输出。但这并没有引导我找到矩阵。

如何修改代码以便我可以输入 2 个图像文件，原始图像和过滤图像。并得到卷积矩阵。或者有没有我可以使用的在线工具，我可以在其中上传多个原始样本和过滤样本，并获取卷积矩阵？

Answer 1

我会像这样解决这个问题(如果只应用卷积并且只应用一次就会工作!):<​​/p>

1. 首先您需要找到矩阵大小。

   因此，您可以遍历所有可能的矩阵大小，或者使用一个期望内部值为零的大矩阵。这可能会很慢，但您可以尝试根据锐利强度边缘的模糊度(到颜色渗出的像素数)来估计矩阵大小。

2. 对于经过测试的(大)矩阵大小，尝试找到零值

   因此对于每个测试矩阵值形成 2 个数组。一个具有来自卷积图像的少量像素样本，第二个具有来自原始图像的像素(通过测试矩阵位置移动)。现在计算 correlation coefficient两者之间，如果不存在显着相关性，您可以假设矩阵中的值为零。

3. 求解矩阵中剩余的非零值

   您可以通过代数方式进行此操作(形成与您拥有的非零值一样多的方程式(不要忘记选择具有不同颜色的像素)。或者您可以进行搜索以最小化矩阵和真实矩阵的卷积输出的误差/距离复杂的输出。您可以为此使用 mine approx class in C++ 之类的东西，但如果您的矩阵很大，那么这将花费很多时间。

[注释]

如果仅对图像应用单个卷积，那么这很可能不起作用。

卷积矩阵大多是方形的并且围绕中值对称，因此您可以计算四分之一的值并镜像其余值...加快计算速度。

另见 Dealing with filters and colour's这是类似的问题。

Bullet #2 可用于检测矩阵大小。通常，最大非零值位于矩阵的中心十字。

0 0 2 0 0
0 1 2 1 0
2 2 3 2 2
0 1 2 1 0
0 0 2 0 0

Values 2 是中央十字，values 3 是卷积矩阵的中间值。因此，从 x 和 y 方向的中点开始计算 #2 相关性。当达到零值时，您很可能处于卷积矩阵的边缘。所以你可以使用它作为矩阵大小(除非矩阵是一些奇怪的过滤器......)。

此外，每个颜色 channel 都可以有自己的卷积矩阵，因此您可能应该为每个 channel 单独执行此操作(卷积可以在任何颜色空间中进行，而不仅仅是在 RGB 中)。

可能还有其他方法(我的直觉告诉我这应该可以通过 PCA 解决)

如果原始图像中有黑色区域，则可以使用它更轻松地找到矩阵的值(这将显着简化代数方法)