python - 在 Python 中用值对字符串进行分组

Question

我正在处理 Twitter 主题标签，我已经计算了它们在我的 csv 文件中出现的次数。我的 csv 文件看起来像:

GilletsJaunes, 100
Macron, 50
gilletsjaune, 20
tax, 10

现在，我想使用 fuzzywuzzy 库将两个相近的术语组合在一起，例如“GilletsJaunes”和“gilletsjaune”。如果 2 个术语之间的接近度大于 80，则它们的值仅添加到 2 个术语中的一个中，而另一个被删除。这将给出:

GilletsJaunes, 120
Macron, 50
tax, 10

使用“fuzzywuzzy”:

from fuzzywuzzy import fuzz
from fuzzywuzzy import process

fuzz.ratio("GiletsJaunes", "giletsjaune")
82 #output

Answer 1

首先，复制these two functions能够计算 argmax:

# given an iterable of pairs return the key corresponding to the greatest value
def argmax(pairs):
    return max(pairs, key=lambda x: x[1])[0]


# given an iterable of values return the index of the greatest value
def argmax_index(values):
    return argmax(enumerate(values))

其次，将 CSV 的内容加载到 Python 字典中，然后执行以下操作:

from fuzzywuzzy import fuzz

input = {
    'GilletsJaunes': 100,
    'Macron': 50,
    'gilletsjaune': 20,
    'tax': 10,
}

threshold = 50

output = dict()
for query in input:
    references = list(output.keys()) # important: this is output.keys(), not input.keys()!
    scores = [fuzz.ratio(query, ref) for ref in references]
    if any(s > threshold for s in scores):
        best_reference = references[argmax_index(scores)]
        output[best_reference] += input[query]
    else:
        output[query] = input[query]

print(output)

{'GilletsJaunes': 120, 'Macron': 50, 'tax': 10}