python - 更正历史拼写

Question

大家好，我第一次发布这个问题。我正在编写一个 python 脚本来制作一个返回标准单词形式的程序。我根据规则来转换历史文本(拼写规范化)。在这里，代码无法正常工作。它仅显示修改后的单词，而不显示整个文件。请提供有关如何解决问题的想法。

import re, string, unicodedata
from nltk.corpus import stopwords
import spacy
import codecs

nlp = spacy.load('fr')
with codecs.open(r'/home/m16/fatkab/RD_project/corpus.txt', encoding='utf8')as f:
    word =f.read()
    tokens = re.split(r'\W+', word)
    print (tokens)

for word in tokens:
    rule1 = word.replace('y', 'i')

    # to avoid modifying y as a word itself:
    if word.endswith ('y')and len(word) >= 2:
        print(rule1)

我的示例输入:Or puis que Dieu est ainsi Deendu à nous,qu'il luy a pleu de nous 公报ainsi sa bonté© : n'est ce pas raison que nous soyons du tout siens？ Et d'autant qu'il nous a tendu la main pour nous racheter, ne faut-il pas que nous soyons 儿子遗产，quand il nous a acquis par sa vertu？欧盟人民不吃 Cereal 谨慎行事，始终保持谦卑 寻求正确的教义 preschee par Moyse。这是权威 拉洛伊功绩,是值得称赞的 奇迹是什么？Car Dieu ne commande pas simplement 莫伊塞·德·帕尔勒 (Moyse de Parler)，上午 choisi 后 先知之子:我是山上的轮胎， 男人的分离 quand il viendra mettre en auant la Loy,qu'on le tienne comme vn Ange，以及非点comme vne 生物mortelle。

这是输出

lui
lui
lui
ai
oui
Loi
lui
foi
Loi
hui
soi
lui
lui
lui
ci
Loi
soi
lui
ai
lui
lui
doi
quoi
soi
ai
lui
lui
soi
# the language is French

Answer 1

对整个文本使用 re.sub。

正则表达式的一个主要好处是您可以在大量文本中运行规则 - 无需手动标记和重建输出。

import re
text = "ouy you are the best luy guy in the try"
sub_pattern = re.compile(r"y(\W+|$)")
print(re.sub(sub_pattern, r"i\1", text))
# oui you are the best lui gui in the tri

这里我们使用re.sub在整个文件中用我们的替换替换模式的每个匹配项的功能。

为了保持行之间的空格 - 我们使用反向引用 \1在替换模式中。这会将匹配中捕获组 (1) 中的文本添加回输出中。

正则表达式模式解释:

re.compile - 如果您一遍又一遍地使用相同的正则表达式，编译一次可以使机器不必继续重新计算它。在本例中，为了清楚起见，它只是用于将该正则表达式分隔到它自己的行上。

r"y(\W+|$)" - r告诉 python 将字符串视为原始字符串，即反斜杠不会错误地转义字符。要匹配字符串末尾的“y”，规则是“‘y’后跟非单词字符，或字符串末尾 ($)”。这是我们用来匹配输入中所有“不正确”的“y”结尾的模式。请注意，空格是在 () 组中捕获的。所以我们稍后可以在反向引用中使用它。

r"i\1"1 - 首先，我们要根据您的规则将匹配的 y+空格替换为“i”。然后，我们需要确保将空格放回原位 - 我们使用反向引用 \1 来完成此操作。它添加了 group1 在我们的模式 (\W+|$) 中捕获的任何内容.

<小时/>

或者

不是捕获空白，而是替换它并将其添加回来。我们还可以在原始模式中使用非捕获组 - 因此我们只捕获“y”并替换它。

为此，您可以使用以下模式:

sub_pattern = re.compile(r"y(?=\W+|$)")
print(re.sub(sub_pattern, r"i", text))
# oui you are the best lui gui in the tri

请注意，空白匹配模式现在前面带有 ?=这表示它是非捕获式前瞻。这意味着它将检查这些字符是否存在于“y”之后，但在替换过程中不会将它们从字符串中删除。因此，替换时只需替换为“i”即可，空格不会被修改。