php - 在 mysql 数据库上进行数据挖掘

Question

我从文本挖掘开始。我有两个包含数千条数据的数据库表..

“技能”表和“技能类别”表

• 每个“技能”都属于一个技能类别。
• “技能”实际上是数据库中的一个 varchar(200) 字段，其中有一些描述该技能的文本。

下面是从技能表中提取的一些技能:

“PHP(良好)、Java(中级)、C++”“PHP5”《项目管理与质量管理》“开始 Javascript”《水利工程》“dfsdf zerze rzer”“与客户打交道”

我想做的是从这些领域中提取知识，我的意思是只提取真正的技能而忽略其余无用的文本。对于上面的例子，我只想得到一个数组:

"PHP"“ java ”“C++”“PHP5”“项目管理”“质量管理”“Javascript”《水利工程》“与客户打交道”

请问我应该怎么做才能从大量数据中提取技能？您知道执行此操作的特定算法吗？例如:k-means ...？

提前致谢。

Answer 1

我会使用 Regex 来解析每一行数据，首先用逗号 (,) 拆分，然后删除括号内的任何文本，以及通向这些括号的空格。至于删除垃圾短语，也许与接受的单词列表相比？

我还注意到关键字“AND”表示两种不同的技能，按照您想要的输出进行。使用这种处理方法的结果可能有点粗略，因为数据不一定都采用相同的格式。