nlp - 给定 100,000 个单词到音素的映射，如何在音素边界上分割原始单词？

Question

我有 100,000 多个单词到音素的映射 ( CMUdict )，例如:

ABANDONED => [ 'AH', 'B', 'AE', 'N', 'D', 'AH', 'N', 'D' ]

我想将原始单词的字母分成与音素数量相等的组，例如

ABANDONED => [ 'A', 'B', 'A', 'N', 'D', 'O', 'N', 'ED' ]

我没有音素到字素的映射，但似乎我应该能够计算音素到字素的统计模型，然后用它来决定在哪里分割每个单词。 (如果该模型也可以用于将新单词转换为其可能的音素，那就太好了)

我该怎么做？我当时认为隐马尔可夫模型听起来可能适用，但除了这种预感我不知道。

Answer 1

要收集统计数据，首先通过匹配相同的字母和音素(例如 N 和 N)，将单词与其语音表示形式对齐。通过动态规划可以获得最佳匹配。然后您可以将单词的剩余字符映射到剩余的音素。

计算出频率后，您可以使用噪声 channel 模型将新单词转换为音素。