tensorflow - Google Meet 背景模糊

Question

我很好奇新的“打开/关闭”background blur functionality的 Google Meet(目前正在测试中)。我调查了一下，似乎正在使用 Tensorflow Lite 楷模:

segm_heavy.tflite
segm_lite.tflite

通过 WASM

mediapipe_wasm_simd.wasm

而模型图应该是

background_blur_graph.binarypb

该模型似乎适用于 HTMLCanvasElement 的级别据我所知。有人知道类似的型号吗？
[更新]
感谢 Jason Mayes和 Physical Ed我能够在 Google's BodyPix demo 中重现非常接近的背景模糊效果。
应用程序的设置显示在控件框中。有一个 backgroundBlurAmount选项，可让您自定义要应用的模糊百分比。

结果几乎接近官方的 Google Meet 应用程序。

Answer 1

结果，大多数分割模型都给出了 alpha channel (有些给出了更多，但 alpha 最有用) - 什么是屏蔽的，什么不是
所以如果你想模糊背景，它是一个多步骤的过程:

将输入调整为模型预期大小

运行模型以获取 alpha channel

将输出调整回原始大小

在 Canvas 上绘制原始图像

在其上绘制 alpha channel ，以便只有前景保持可见
例如使用 ctx.globalCompositeOperation = 'darken'

可选择将其模糊一点，因为模型输出永远不会完美
例如使用 ctx.filter = 模糊(8px)`;

因此，如果您想模糊背景，只需应用应用模糊只需从 4 复制 Canvas ，在其上应用模糊并在返回步骤 5 之前绘制
关于模型， 谷歌见面 还不错，但我用 取得了更好的结果谷歌自拍 模型
bodypix 是较旧的型号，可配置性很好，但效果不是很好
示例代码: https://github.com/vladmandic/human/blob/main/src/segmentation/segmentation.ts