python - 带规则的数字识别

Question

我想从图像中提取和识别数字。我已经阅读了很多关于数字识别的内容，但没有找到任何关于添加规则来选择我们感兴趣的唯一数字的内容。

规则会“非常简单”，例如我只想提取用蓝色笔包围的数字。

不是在这里等待整个解决方案，而是更多的研究轴或类似问题的链接。

我对神经网络非常熟悉，并打算在这方面使用一个。但是我看不到如何只过滤掉周围的数字。

这里是图片示例。对相同的模式进行成像，但在一张图片上多次成像。

Answer 1

我认为你有三种操作方式。也许您不需要走那么远!现在，我们将只查找已被选中的那个。

情况 1:您可以尝试对圆使用霍夫变换来查找图像中存在的圆。

% Solution 1 (practically a perfect cicle, use hough circle transform to find circles)
im = imread('/image/L7cE1.png');
[centers, radii, metric] = imfindcircles(im, [10, 60]);
imshow(im); viscircles(centers, radii,'EdgeColor','r');

案例 2:您可以在蓝色空间中工作并消除非彩色以分割您感兴趣的区域(如果添加边距，您可以正确工作)。

% Solution 2 (ALWAYS is blue, read only rgB channel and delete achromatic)
b = im(:, :, 3) & (std(double(im(:, :, :)), [], 3) > 5);
bw = imfill(b,'holes');
stats = regionprops('table', bw, 'Centroid', 'MajorAxisLength','MinorAxisLength')
imshow(im); viscircles(stats.Centroid, stats.MajorAxisLength / 2,'EdgeColor','r');

案例 3:您可以生成一个包含正例的数据集和包含负例的其他数据集。并训练一个具有 10 个输出的神经网络，每个输出指示是否有划掉(sigmoid 输出)。这种模型的好处是您以后不应该进行 OCR。

import keras
from keras.layers import *
from keras.models import Model
from keras.losses import mean_squared_error
from keras.applications.mobilenet import MobileNet
def model():
    WIDTH, HEIGHT = 128, 128
    mobile_input = Input(shape=(WIDTH, HEIGHT, 3))
    alpha = 0.25 # 0.25, 0.5, 1
    shape = (1, 1, int(1024 * alpha))
    dropout = 0.1
    input_ = Input(shape=(WIDTH, HEIGHT, 3))
    mobile_model = MobileNet(input_shape=(WIDTH, HEIGHT, 3), 
                             alpha= alpha, 
                             include_top=False, 
                             dropout = dropout,
                             pooling='avg')
    base_model = mobile_model(mobile_input)
    x = Reshape(shape, name='reshape_1')(base_model)
    x_gen = Dropout(dropout, name='dropout')(x)
    x = Conv2D(10, (1, 1), padding='same')(x_gen)
    x = Activation('sigmoid')(x)
    output_detection = Reshape((10,), name='output_mark_detection')(x)

    """x = Conv2D(2 * 10, (1, 1), padding='same')(x_gen)
    x = Activation('sigmoid')(x)
    output_position = Reshape((2 * 10, ), name='output_mark_position')(x)
    output = Concatenate(axis=-1)([output_detection, output_position])
    """

    model = Model(name="mark_net", inputs=mobile_input, outputs=output_detection)

这取决于你的问题，第一个案例可以为你服务。如果有不同的照明、旋转、缩放等条件。我建议你直接进入神经网络，你可以创建许多“人工”示例:

1. 您可以通过添加失真来生成人工数据集圈子(取一个正常的圈子应用随机仿射变换，添加噪声，稍微改变蓝色，线路等)。
2. 然后将随机圆圈粘贴到每个数字中，然后生成指示标记了哪些数字的数据集。
3. 一旦“卡在纸上”，您可以再次应用数据扩充 让它看起来更真实。