.net - 分析图像的颜色

Question

我裁剪了一部分图像，并通过12个轨迹栏定义了2个颜色范围（H / S / L）。我还有一个“精度/速度”滑块，范围从1到10。

我需要分析多少个图像像素落入每个指定的颜色范围内。
基于精度/速度滑块，我跳过了一些行/像素。

它的工作很棒，但是太慢了。高精度（跟踪条值= 1）大约需要550毫秒。
精度低但速度快（跟踪条值= 10）时，大约需要5毫秒。

有没有办法加快此代码的速度？理想情况下，我需要将其速度提高5倍。

 For y As Integer = 0 To 395
    If y Mod 2 = 0 Then
        startpixel = tbval / 2
    Else
        startpixel = 0
    End If

    If y Mod tbval = 0 Then
        For x As Integer = 0 To 1370
            If x Mod tbval - startpixel = 0 Then
                analyzedpixels = analyzedpixels + 1

                Dim pColor As Color = crop.GetPixel(x, y)
                Dim h As Integer = pColor.GetHue
                Dim s As Integer = pColor.GetSaturation * 100
                Dim l As Integer = pColor.GetBrightness * 100

                'verify if it is part of the first color

                If h >= h1min And h <= h1max And s >= s1min And s <= s1max And l >= l1min And l <= l1max Then
                    color1pixels = color1pixels + 1
                End If

                If h >= h2min And h <= h2max And s >= s2min And s <= s2max And l >= l2min And l <= l2max Then
                    color2pixels = color2pixels + 1
                End If
            End If
        Next
    End If
Next

编辑：

这是工作代码。

Dim rect As New Rectangle(0, 0, crop.Width, crop.Height)
Dim bdata As Imaging.BitmapData = crop.LockBits(rect, Imaging.ImageLockMode.ReadOnly, crop.PixelFormat)

Dim ptr As IntPtr = bdata.Scan0
Dim bytes As Integer = Math.Abs(bdata.Stride) * crop.Height
Dim rgbValues As Byte() = New Byte(bytes - 1) {}
System.Runtime.InteropServices.Marshal.Copy(ptr, rgbValues, 0, bytes)

For i As Integer = 0 To crop.Height - 1

    If i Mod 2 = 0 Then
        startpixel = tbval / 2
    Else
        startpixel = 0
    End If

    If i Mod tbval = 0 Then
        For j As Integer = 0 To crop.Width - 1
            If j Mod tbval - startpixel = 0 Then

                analyzedpixels = analyzedpixels + 1
                Dim position = (bdata.Stride * i) + j * 4
                Dim c = Color.FromArgb(BitConverter.ToInt32(rgbValues, position))
                Dim h As Integer = c.GetHue
                Dim s As Integer = c.GetSaturation * 100
                Dim l As Integer = c.GetBrightness * 100

                If h >= h1min And h <= h1max And s >= s1min And s <= s1max And l >= l1min And l <= l1max Then
                    color1pixels = color1pixels + 1
                End If

                If h >= h2min And h <= h2max And s >= s2min And s <= s2max And l >= l2min And l <= l2max Then
                    color2pixels = color2pixels + 1
                End If
            End If
            stride += 4
        Next
    End If
Next

crop.UnlockBits(bdata)

Answer 1

当对位图的颜色数据执行顺序操作时，Bitmap.LockBits方法可以显着提高性能，因为与连续的GetPixel / SetPixel调用相比，位图数据仅需要一次加载到内存中：每次调用都将加载一个位图数据在内存中的部分区域，然后将其丢弃，以在再次调用这些方法时重复该过程。

如果需要单次调用GetPixel / SetPixel，则这些方法可能比Bitmap.LockBits()具有性能优势。但是，在这种情况下，实际上，性能不是一个因素。

Bitmap.LockBits()的工作方式：

这是函数调用：

public BitmapData LockBits (Rectangle rect, ImageLockMode flags, PixelFormat format);
// VB.Net
Public LockBits (rect As Rectangle, flags As ImageLockMode, format As PixelFormat) As BitmapData

rect As Rectangle：此参数指定我们感兴趣的Bitmap数据部分；该部分的字节将被加载到内存中。它可以是位图的整个大小，也可以是它的较小部分。
flags As ImageLockMode：指定要执行的锁定类型。对内存的访问可以限制为读或写，或者允许并发的读/写操作。
它也可以用来指定-设置 ImageLockMode.UserInputBuffer- BitmapData对象由调用代码提供。
BitmapData对象定义某些位图属性（位图的 Width和 Height，扫描线的宽度（ Stride：组成单行像素的字节数，由 乘以每个像素的字节数，四舍五入为4字节边界。请参见有关 Bitmap.Width的注释。
BitmapData.Scan0属性是指向位图数据存储在其初始存储位置的指针（ Stride）。
此属性允许指定已经存储了预先存在的位图数据缓冲区的存储位置。当使用指针在进程之间交换位图数据时，它将变得很有用。
请注意，有关 IntPtr的MSDN文档令人困惑（如果没有记错的话）。
ImageLockMode.UserInputBuffer format As：用于描述单个像素颜色的格式。实际上，它转换为用于表示颜色的字节数。
当 PixelFormat时，每种颜色都用3个字节（RGB值）表示。使用 PixelFormat = Format24bppRgb，每种颜色都由4个字节表示（RGB值+ Alpha）。
索引格式（如 PixelFormat.Format32bppArgb）指定每个字节值是 Palette条目的索引。 Format8bppIndexed是位图信息的一部分，除非像素格式为 Palette：在这种情况下，每个值都是系统颜色表中的一个条目。
如果未指定，则新Bitmap对象的默认 PixelFormat.Indexed为 PixelFormat或 PixelFormat.Format32bppArgb。


关于Stride的重要说明：

如前所述， PixelFormat.Canonical（也称为扫描线）表示组成一行像素的字节数。由于硬件对齐要求，它总是四舍五入到4字节边界（4的整数倍）。

Stride =  [Bitmap Width] * [bytes per Color]
Stride += (Stride Mod 4) * [bytes per Color]

这就是为什么我们始终使用由 Stride创建的位图的原因之一：位图的 PixelFormat.Format32bppArgb始终已与所需边界对齐。

如果位图的格式改为 Stride（每种颜色3个字节）怎么办？

如果位图的 PixelFormat.Format24bppRgb乘以每像素字节数不是 Width的倍数，则 4将用 Stride填充以填补空白。

大小为 0的位图在32位和24位格式中都不会填充：

100 * 3 = 300 : 300 Mod 4 = 0 : Stride = 300
100 * 4 = 400 : 400 Mod 4 = 0 : Stride = 400

大小为 (100 x 100)的位图将有所不同：

99 * 3 = 297 : 297 Mod 4 = 1 : Stride = 297 + ((297 Mod 4) * 3) = 300
99 * 4 = 396 : 396 Mod 4 = 0 : Stride = 396

填充24位位图的 (99 x 100)，添加3个字节（设置为 Stride）以填充边界。

当我们检查/修改通过其坐标访问单个Pixel的内部值时，这不是问题，类似于SetPixel / GetPixel的操作方式：总是可以正确找到Pixel的位置。

假设我们需要检查/更改大小为 0的位图中位置 (98, 70)处的像素。
仅考虑每个像素的字节数。缓冲区内的像素位置为：

[Bitmap] = new Bitmap(99, 100, PixelFormat = Format24bppRgb)

[Bytes x pixel] = Image.GetPixelFormatSize([Bitmap].PixelFormat) / 8
[Pixel] = new Point(98, 70)
[Pixel Position] = ([Pixel].Y * [BitmapData.Stride]) + ([Pixel].X * [Bytes x pixel])
[Color] = Color.FromArgb([Pixel Position] + 2, [Pixel Position] + 1, [Pixel Position])

将像素的垂直位置乘以扫描线的宽度，缓冲区内的位置将始终是正确的：计算中包括填充大小。
下一个位置 (99 x 100)的像素颜色将返回预期结果：

顺序读取颜色字节时会有所不同。
第一条扫描线将返回直到最后一个像素（最后3个字节）的有效结果：接下来的3个字节将返回用于舍入 (0, 71)的字节的值，所有字节均设置为 Stride。

这也可能不是问题。例如，应用一个滤镜，使用滤镜矩阵的值读取并修改代表像素的每个字节序列：我们只需要修改3个字节的序列即可，在渲染位图时不会考虑。

但是，如果要搜索特定的像素序列就很重要：读取不存在的像素颜色可能会损害结果和/或使算法失衡。
对位图的颜色执行统计analisys时相同。

当然，我们可以在循环中添加一个检查： 0。
但这会为每次迭代添加新的计算。

实际操作

一种简单的解决方案（较常见的解决方案）是创建一个格式为 if [Position] Mod [BitmapData].Width = 0 : continue的新位图，因此该 PixelFormat.Format32bppArgb将始终正确对齐：

Imports System.Drawing
Imports System.Drawing.Imaging
Imports System.Runtime.InteropServices

Private Function CopyTo32BitArgb(image As Image) As Bitmap
    Dim imageCopy As New Bitmap(image.Width, image.Height, PixelFormat.Format32bppArgb)
    imageCopy.SetResolution(image.HorizontalResolution, image.VerticalResolution)

    For Each propItem As PropertyItem In image.PropertyItems
        imageCopy.SetPropertyItem(propItem)
    Next

    Using g As Graphics = Graphics.FromImage(imageCopy)
        g.DrawImage(image,
            New Rectangle(0, 0, imageCopy.Width, imageCopy.Height),
            New Rectangle(0, 0, image.Width, image.Height),
            GraphicsUnit.Pixel)
        g.Flush()
    End Using
    Return imageCopy
End Function

这将生成具有相同DPI定义的字节兼容位图。 Image.PropertyItems也会从源图像复制。

为了对其进行测试，我们将棕褐色调滤镜应用于图像，使用其副本执行对位图数据的所有修改：

Public Function BitmapFilterSepia(source As Image) As Bitmap
    Dim imageCopy As Bitmap = CopyTo32BitArgb(source)
    Dim imageData As BitmapData = imageCopy.LockBits(New Rectangle(0, 0, source.Width, source.Height),
        ImageLockMode.ReadOnly, PixelFormat.Format32bppArgb)

    Dim buffer As Byte() = New Byte(Math.Abs(imageData.Stride) * imageCopy.Height - 1) {}
    Marshal.Copy(imageData.Scan0, buffer, 0, buffer.Length)

    Dim bytesPerPixel = Image.GetPixelFormatSize(source.PixelFormat) \ 8;
    Dim red As Single = 0, green As Single = 0, blue As Single = 0

    Dim pos As Integer = 0
    While pos < buffer.Length
        Dim color As Color = Color.FromArgb(BitConverter.ToInt32(buffer, pos))
        ' Dim h = color.GetHue()
        ' Dim s = color.GetSaturation()
        ' Dim l = color.GetBrightness()

        red = buffer(pos) * 0.189F + buffer(pos + 1) * 0.769F + buffer(pos + 2) * 0.393F
        green = buffer(pos) * 0.168F + buffer(pos + 1) * 0.686F + buffer(pos + 2) * 0.349F
        blue = buffer(pos) * 0.131F + buffer(pos + 1) * 0.534F + buffer(pos + 2) * 0.272F

        buffer(pos + 2) = CType(Math.Min(Byte.MaxValue, red), Byte)
        buffer(pos + 1) = CType(Math.Min(Byte.MaxValue, green), Byte)
        buffer(pos) = CType(Math.Min(Byte.MaxValue, blue), Byte)
        pos += bytesPerPixel
    End While

    Marshal.Copy(buffer, 0, imageData.Scan0, buffer.Length)
    imageCopy.UnlockBits(imageData)
    imageData = Nothing
    Return imageCopy
End Function

Stride不一定总是最佳选择。
使用 ColorMatrix类也可以很容易地执行应用过滤器的相同过程，该类允许仅使用简单的float（ Bitmap.LockBits）值数组将 5x5矩阵变换应用于位图。

例如，让我们使用 Single类和众所周知的 ColorMatrix矩阵应用灰度滤镜：

Public Function BitmapMatrixFilterGreyscale(source As Image) As Bitmap
    ' A copy of the original is not needed but maybe desirable anyway 
    ' Dim imageCopy As Bitmap = CopyTo32BitArgb(source)
    Dim filteredImage = New Bitmap(source.Width, source.Height, source.PixelFormat)
    filteredImage.SetResolution(source.HorizontalResolution, source.VerticalResolution)

    Dim grayscaleMatrix As New ColorMatrix(New Single()() {
        New Single() {0.2126F, 0.2126F, 0.2126F, 0, 0},
        New Single() {0.7152F, 0.7152F, 0.7152F, 0, 0},
        New Single() {0.0722F, 0.0722F, 0.0722F, 0, 0},
        New Single() {0, 0, 0, 1, 0},
        New Single() {0, 0, 0, 0, 1}
   })

    Using g As Graphics = Graphics.FromImage(filteredImage), attributes = New ImageAttributes()
        attributes.SetColorMatrix(grayscaleMatrix)
        g.DrawImage(source, New Rectangle(0, 0, source.Width, source.Height),
                    0, 0, source.Width, source.Height, GraphicsUnit.Pixel, attributes)
    End Using
    Return filteredImage
End Function