algorithm - 在matlab中从人脸中提取唇部区域和参数，用于口型同步

Question

大家好
我正在 Matlab 中做我的项目。为此，我将使用唇部提取算法，该算法将从给定的面部图像中提取唇部区域。为此，我使用了基于颜色的分割，通过它我可以获得唇部区域。这给了我唇部区域。但是我没有得到嘴唇参数。因此，我将不得不使用标准口型来进行口型同步。也就是说，不管草图的嘴唇类型如何，我们都必须使用相同的嘴唇。这种技术不会给我一个适当和准确的结果。
我想问的是，“有没有什么算法或方法可以让我使用草图的同一个嘴唇，并根据声音音素为每个 viseme(最小视觉元素)适本地修改同一个嘴唇"
先谢谢大家了

Answer 1

我的硕士论文就是关于这个主题的。我使用Active Shape Models 来确定嘴唇的确切“形状”或位置，以减少参数。

http://www.vision.ee.ethz.ch/teaching/sada/sadalink/reports/biwi_00349.pdf

它工作得相当好，但鲁棒性仍然是一个大问题。我不会依赖颜色分割来提取嘴唇轮廓。它似乎只适用于具有高分辨率和理想照明条件的数据集。此外，有些人的嘴唇非常薄或肤色。

无论如何，看看报告中的引用资料，它们应该会有帮助。