machine-learning - 如何在分类中包含单词作为数字特征

Question

在任何机器学习算法中使用单词本身作为特征的最佳方法是什么？

问题我必须从特定段落中提取与单词相关的特征。我应该使用字典中的索引作为数字特征吗？如果是这样，我将如何标准化这些？

一般来说，单词本身如何用作 NLP 中的特征？

Answer 1

有几种传统技术可以将单词映射到特征(二维数据矩阵中的列，其中行是单独的数据向量)以输入到机器学习模型。 classification :

• 一个 bool 字段，用于编码给定文档中该单词是否存在；

• a 的频率直方图预先确定的一组单词，通常是包含训练数据的所有文档中最常出现的 X 个单词(有关此内容的更多信息，请参阅本答案的最后一段)；

• 两个或多个的并置单词(例如“替代”和“生活方式”连续顺序有也不相关的含义组成词)；这种并置可以在数据模型本身中捕获，例如，表示文档中是否存在彼此直接相邻的两个特定单词的 bool 特征，或者可以在机器学习技术中利用这种关系，作为一种简单的方法在这种情况下，贝叶斯分类器会强调文本；

• 单词作为原始数据提取潜在特征，例如LSA或潜在语义分析(有时也称为潜在语义索引的 LSI)。 LSA 是一种基于矩阵分解的技术，它从文本中导出从文本本身的单词中不明显的潜在变量。

机器学习中的常见引用数据集由 50 个左右最常见单词的频率组成，也称为“停用词”(例如，a、an 、of、and、the、there、if)，用于已发表的作品莎士比亚、伦敦、奥斯汀和弥尔顿。具有单个隐藏层的基本多层感知器可以以 100% 的准确度分离该数据集。该数据集及其变体在 ML 数据存储库和 academic papers 中广泛可用。呈现分类结果同样很常见。