Python2 标记化并添加到字典

Question

我有一些文本需要生成按空间分割的标记。
此外，我需要删除所有标点符号，因为我需要删除双大括号 [[...]] (包括双大括号)内的所有内容。

我将把每个 token 放在字典中作为具有值列表的键。

我试过正则表达式来删除这些双大括号模式，if-elses ...，但我找不到有效的解决方案。目前我有:

tokenDic = dict()
splittedWords =  re.findall(r'\[\[\s*([^][]*?)]]',  docs[doc], re.IGNORECASE) 
tokenStr = splittedWords.split()

for token in tokenStr:
    tokenDic[token].append(value);

我将不胜感激任何帮助 :)

谢谢

Answer 1

要删除 [[]] 中的所有内容，您可以使用 re.sub 并且您已经拥有正确的正则表达式，所以只需执行此操作。

 x = [[hello]]w&o%r*ld^$
 y = re.sub("\[\[\s*([^][]*?)]]","",x)
 z = re.sub("[^a-zA-Z\s]","",y)
 print(z)

这打印“世界”