JavaScript:检测 Canvas 中的形状

Question

我发现应用程序名为 https://skinmotion.com/出于学习目的，我想创建我自己的应用程序的网络版本。

Web 应用程序的工作方式如下。它要求用户授予访问相机的权限。之后，视频就被捕获了。每秒从流中获取图像并进行处理。在此过程中，我在图像中寻找声波模式。

如果找到该模式，视频录制将停止并执行某些操作。

模式示例 - https://www.shutterstock.com/cs/image-vector/panorama-mini-earthquake-wave-on-white-788490724 .

理想情况下，它应该像二维码一样工作 - 即使检测到很小的二维码，它也不应该依赖于旋转和缩放。

我不是计算机视觉专家，这个领域对我来说相当新。我需要一些帮助。哪种方法最好？

我应该训练自己的 Tensorflow 数据集并使用 tensorflow.js 吗？或者有更简单、更“轻量级”的选择吗？

我的问题是，我找不到或想出处理捕获的图像以使其尽可能“可比”的算法 - 放大、旋转、白色和黑色的阈值等。

希望经过这次改造，resemble.js可用于比较“原始”和“捕获”图像。

提前谢谢您。

Answer 1

深度学习

如果需要识别某些波浪模式，可以使用tensorfow.js编写分类模型。

但是，如果模型要识别一般的波浪模式，则可能会更复杂。物体检测model是要使用的。

没有深度学习

检测波形并从中播放音频会增加复杂性。在后一种情况下，可以逐字节读取图像。波形图是用与图像背景不同的某种颜色绘制的。可以识别感兴趣的区域，并可以生成表示 wav 形式的数组。

然后要播放数组中的音频，可以如下所示here