delphi - 为什么 Synopse 连字代码给出的结果与 TeX 的结果不同？

Question

这个问题遵循previous question但不同。 Synopse's delphi hyphenation非常快并且基于 OpenOffice libhnj library that uses TeX hyphenation 构建.

一个简单的测试是:

如果我输入“发音”，Synopse 连字符输出“pro=nun=ci=ation”(4 个可能的连字符或音节)。//(不是“pro=nun=ci=a=tion”，5 个连字符或音节)。

我读了两篇关于 Tex 连字符算法在音节化中使用的论文( here 和 here )。作者表示音节划分的准确度约为 95%。我测试 Synopse 连字符仅用于计算 CMU Pronouncing Dictionary 上的音节，但准确率只有 53% 左右。

为什么结果显着不同？

我以稍微详细的方式重现了我的方法。

我解析 CMU 发音词典来计算所有单词数。CMU 的 dic 是这样的:

PRONOUNS  P R OW1 N AW0 N Z
PRONOVOST  P R OW0 N OW1 V OW0 S T
PRONTO  P R AA1 N T OW0
PRONUNCIATION  P R OW0 N AH2 N S IY0 EY1 SH AH0 N
PRONUNCIATION(1)  P R AH0 N AH2 N S IY0 EY1 SH AH0 N

我会得到这样的结果:

PRONOUNS=2
PRONOVOST=3
PRONTO=2
PRONUNCIATION(1)=5 // will be ignored
PRONUNCIATION=5   // use this one

与 Synopse 连字库相比，带括号的单词将被忽略。它们是替代或次要发音(变体)。

同样，我将使用连字符库来计算 CMU 词典中每个单词的音节数。然后我比较两者，看看有多少匹配。不同音节数的单词记录如下:

...

94814 cmu PROMULGATED=4 | PROMULGATED=3 Synopse Hyphenation
94821 cmu PRONGER=2 | PRONGER=1 Synopse Hyphenation
94829 cmu PRONOUNCES=3 | PRONOUNCES=2 Synopse Hyphenation
94833 cmu PRONTO=2 | PRONTO=1 Synopse Hyphenation
94835 cmu PRONUNCIATION=5 | PRONUNCIATION=4 Synopse Hyphenation

...

CMU 的总行数为 123611(不包括带括号的行和没有有意义的单词的行，如引号行“(”)。两个相同单词的不同音节总数:57870。

CMU可能不是音节数的标准。本次测试中，(123611-57870)/123611=53.183%。这与作者在上面的论文中所说的准确率有很大不同。当然，他们使用另一个数据库(CELEX)进行测试。为什么结果如此不同？

Synopse 连字库速度非常快。我想进一步了解这是否是由于模式文件(最初用于 OpenOffice 中使用的 libhnj 的用于连字符的 dic 文件)引起的。或者论文作者是否使用了不同的字典文件？

Answer 1

简而言之，我认为我们的 SPIRE 2009 论文中报告的内容与此处报告的结果之间的准确度差异如此之大的原因是我们训练了方法而不是使用模式通过之前的训练生成(据我所知，这就是你在这里所做的)。

我们如何进行训练以获得我们的模式在我们论文的第三页(第 176 页)中进行了简要描述，并在我论文的第 4.3 节中进行了更详细的描述，您可以在这里找到: http://web.cs.dal.ca/~adsett/Adsett_SyllAlgs_2008.pdf