python - 机器学习加权调整

Question

我正在努力研究如何实现一些机器学习库，以帮助我找出每个参数的正确权重，以便做出一个好的决策。
更详细地说：
上下文：尝试为HTML文件实现发布提取器的日期。这是为新闻网站，所以我没有一个通用的日期格式，我可以使用。我在python的dateutil中使用了解析器，这做得非常好。最后我列出了可能的发布日期（HTML文件中的所有日期）。
从一组参数中，例如关闭标记、靠近日期子字符串的单词等，我根据发布日期的可能性对列表进行排序。每个参数的权重都是经过某种教育的猜测。
我想实现一种机器学习算法，在培训期（提供实际发布日期）之后，它决定每个参数的权重。
我一直在阅读Python中不同机器学习库的文档（pyml、scikit-learn、pybrain），但是我没有发现任何有用的东西。我也读过this这本书，有一个很好的例子可以确定蘑菇是否可以阅读。
注意：我在用python。
我非常感谢你的帮助。

Answer 1

考虑到您的问题描述、Yoru数据的特点以及您的ML背景和个人偏好，我建议您Orange。
Orange是一个成熟、免费和开源的项目，拥有大量的ML算法和优秀的文档和培训材料。大多数用户可能使用Orange提供的GUI，但框架可以用Python编写脚本。
因此，使用这个框架，当然可以让您快速试验各种分类器，因为（i）它们都在一个地方；（ii）每个分类器都可以访问一个通用的配置语法GUI。橙色框架内的所有ML技术都可以在“演示”模式下运行。
橙色安装随附的一个或多个示例数据集。提供的文件
橙色的安装非常好。此外，主页还包含指向
可能涵盖框架中包含的每个ML技术的教程。
考虑到您的问题，可以从决策树算法（或者C4.5或者ID3实现）开始。Dobbs博士期刊（在线）的最新版本包括一篇关于使用决策树的优秀文章；用例是Web服务器数据（来自服务器访问日志）。
Orange有一个C4.5 implementation，可从GUI获得（作为“小部件”）。如果这太简单，那么用Python编写一个代码只需要大约100行。是该语言中工作实现的源代码
我建议从决策树开始，有几个原因。
如果它对您的数据有效，您将
不仅有经过训练的分类器，
但你也会看到
整体的表示
分类模式（表示
作为二叉树）。在这方面，决策树在ML技术中（可能）是唯一的。
您的数据的特点是
与最佳性能保持一致
场景C4.5；数据可以
分类的或连续的
变量（通过这种方法
如果更多，性能更好
特征（列/字段）离散
而不是连续的
描述你的数据）；同时
决策树算法可以接受，
没有任何预处理，
数据点不完整
简单的数据预处理。送入决策树的数据
算法不需要那么多
数据预处理与大多数其他ML一样
技术；预处理通常
（通常？）最耗时的
整个ML工作流中的任务。它是
也很少记录，所以
可能也是最可能的来源
错误。
您可以从每个节点到根的距离（换句话说，从一个快速的视觉效果）中推断出每个变量的（相对）权重。
受训人员的检查
分类器。回想一下训练过的分类器
只是一个二叉树（通常是Here这种方式），其中的节点
对应于1的一个值
功能（变量或列
数据集）；连接到
这个节点当然代表了
数据点分为两组
基于每个点的值
功能（例如，如果功能是
分类变量”出版物
在HTML页标题中输入日期？“然后
通过左边缘将流动所有
数据点，其中
发布日期不在
打开和关闭头部标签，以及
右节点得到另一个
组）。什么是意义
这个？因为一个节点只表示
特定的状态或值
变量，该变量的
重要性
可以推断出数据的分类
从它在
树——也就是说，越靠近
根节点，它越重要。
从您的问题来看，在将培训数据输入到ML分类器之前，您似乎需要完成两个任务。
i.确定合理的分类标签
你想预测的是约会。除非您的解析要求异常严格（例如解析为单个日期），否则我将构建一个分类模型（返回给定数据点的类标签），而不是回归模型（返回单个连续值）。
假设您的响应变量是一个日期，一个简单的方法是将最早的日期设置为基线0，然后将所有其他日期表示为一个整数，表示与该基线的距离。接下来，将所有日期离散为一小部分范围。一种非常简单的方法是计算响应变量（最小、第一个四分位数、平均、第三个四分位数和最大）的五个描述性统计。从这五个统计数据中，您可以得到四个合理选择的日期范围（尽管可能不具有相同的跨度或成员大小）。
然后，这四个日期值范围代表您的类标签——例如，ClassI可能是响应变量（发布日期）为0到10天后的所有数据点（我想是网页）；ClassII是0到25天后的11天后，等等。
[注：根据本答案下方的运营商意见，添加以下代码，要求澄清。]

# suppose these are publication dates
>>> pd0 = "04-09-2011"      
>>> pd1 = "17-05-2010"
# convert them to python datetime instances, e.g., 
>>> pd0 = datetime.strptime(pd0, "%d-%m-%Y")
# gather them in a python list and then call sort on that list:
>>> pd_all = [pd0, pd1, pd2, pd3, ...]
>>> pd_all.sort()
# 'sort' will perform an in-place sort on the list of datetime objects,
# such that the eariest date is at index 0, etc.
# now the first item in that list is of course the earliest publication date
>>> pd_all[0]
datetime.datetime(2010, 5, 17, 0, 0)
# express all dates except the earliest one as the absolute differenece in days
# from that earliest date
>>> td0 = pd_all[1] - pd_all[0]           # t0 is a timedelta object
>>> td0
datetime.timedelta(475)     
# convert the time deltas to integers:
>>> fnx = lambda v : int(str(v).split()[0])
>>> time_deltas = [td0,....]
# d is jsut a python list of integers representing number of days from a common baseline date
>>> d = map(fnx, time_deltas)    

二。将原始数据转换为“ML可用”表单。
对于C4.5分类器，此任务是
比其他的ML算法简单得多，所需的步骤也更少。什么
这里的首选是离散到相对较少的值，
尽可能多的参数——例如，如果某个参数/变量是
“发布日期字符串与结束正文标记的距离”，那么我会
建议将这些价值分散到不同的范围内，正如市场调查经常要求的那样。
参与者在指定的一组跨度（18-35；36-50等）中报告他们的年龄。
而不是单个整数（41）。