python - 机器学习电子邮件优先级排序 - Python

Question

我一直在研究 Python 编码的优先级电子邮件收件箱，最终目标是使用机器学习算法来标记(或分类)选择的电子邮件为重要或不重要。我将从一些背景信息开始，然后进入我的问题。

到目前为止，我已经开发了代码来从电子邮件中提取数据并对其进行处理以发现最重要的数据。这是使用以下电子邮件功能实现的:

• 发件人地址频率
• 线程事件
• 收到日期(回复之间的时间)
• 正文/主题中的常用词

我目前的代码根据每封电子邮件的重要性对每封电子邮件应用排名(或权重)(值 0.1-1)，然后应用“重要”或“不重要”的标签(在这种情况下，这是仅 1 或 0)。如果排名 > 0.5，则授予优先地位。此数据存储在 CSV 文件中(如下所示)。

     From           Subject       Body        Date          Rank    Priority 
     test@test.com  HelloWorld    Body Words  10/10/2012    0.67    1
     rest@test.com  ByeWorld      Body Words  10/10/2012    0.21    0
     best@test.com  SayWorld      Body Words  10/10/2012    0.91    1
     just@test.com  HeyWorld      Body Words  10/10/2012    0.48    0
     etc        …………………………………………………………………………

我有两组电子邮件数据(一组训练，一组测试)。以上适用于我的培训电子邮件数据。我现在正尝试训练一种学习算法，以便我可以预测测试数据的重要性。

为此，我一直在研究 SCIKIT 和 NLTK。但是，我无法将我在教程中学到的信息转移到我的项目中。对于使用哪种学习算法，我没有特别的要求。这就像应用以下一样简单吗？如果是这样怎么办？

   X, y = email.data, email.target

   from sklearn.svm import LinearSVC
   clf = LinearSVC()

   clf = clf.fit(X, y)

   X_new = [Testing Email Data]

   clf.predict(X_new)

Answer 1

最简单(虽然可能不是最快)的解决方案 (*) 是使用 scikit-learn 的 DictVectorizer。首先，使用 Python 的 csv 模块读取每个示例，并构建一个包含 (feature, value) 对的 dict，同时保持优先级分开:

# UNTESTED CODE, may contain a bug or two; also, you need to decide how to
# implement split_words
datareader = csv.reader(csvfile)
dicts = []
y = []

for row in datareader:
    y.append(row[-1])
    d = {"From": row[0]}
    for word in split_words(row[1]):
        d["Subject_" + word] = 1
    for word in split_words(row[2]):
        d["Body_" + word] = 1
    # etc.
    dicts.append(d)

# vectorize!
vectorizer = DictVectorizer()
X_train = vectorizer.fit_transform(dicts)

您现在有一个稀疏矩阵 X_train，您可以将它与 y 一起提供给 scikit-learn 分类器。

注意:

1. 当您想对看不见的数据进行预测时，您必须对其应用相同的过程和完全相同的vectorizer 对象。 IE。您必须使用上面的循环构建一个 test_dicts 对象，然后执行 X_test = vectorizer.transform(test_dicts)。

2. 我假设您想直接预测优先级。相反，预测“排名”将是一个回归问题，而不是分类问题。一些 scikit-learn 分类器有一个 predict_proba 方法，它会产生电子邮件很重要的概率，但你不能训练这些分类器。

(*) 我是 scikit-learn 的 DictVectorizer 的作者，所以这不是公正的建议。不过，它是从马嘴里出来的:)