- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章python实现AdaBoost算法的示例由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
代码 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
|
'''
数据集:Mnist
训练集数量:60000(实际使用:10000)
测试集数量:10000(实际使用:1000)
层数:40
------------------------------
运行结果:
正确率:97%
运行时长:65m
'''
import
time
import
numpy as np
def
loadData(fileName):
'''
加载文件
:param fileName:要加载的文件路径
:return: 数据集和标签集
'''
# 存放数据及标记
dataArr
=
[]
labelArr
=
[]
# 读取文件
fr
=
open
(fileName)
# 遍历文件中的每一行
for
line
in
fr.readlines():
# 获取当前行,并按“,”切割成字段放入列表中
# strip:去掉每行字符串首尾指定的字符(默认空格或换行符)
# split:按照指定的字符将字符串切割成每个字段,返回列表形式
curLine
=
line.strip().split(
','
)
# 将每行中除标记外的数据放入数据集中(curLine[0]为标记信息)
# 在放入的同时将原先字符串形式的数据转换为整型
# 此外将数据进行了二值化处理,大于128的转换成1,小于的转换成0,方便后续计算
dataArr.append([
int
(
int
(num) >
128
)
for
num
in
curLine[
1
:]])
# 将标记信息放入标记集中
# 放入的同时将标记转换为整型
# 转换成二分类任务
# 标签0设置为1,反之为-1
if
int
(curLine[
0
])
=
=
0
:
labelArr.append(
1
)
else
:
labelArr.append(
-
1
)
# 返回数据集和标记
return
dataArr, labelArr
def
calc_e_Gx(trainDataArr, trainLabelArr, n, div, rule, D):
'''
计算分类错误率
:param trainDataArr:训练数据集数字
:param trainLabelArr: 训练标签集数组
:param n: 要操作的特征
:param div:划分点
:param rule:正反例标签
:param D:权值分布D
:return:预测结果, 分类误差率
'''
# 初始化分类误差率为0
e
=
0
# 将训练数据矩阵中特征为n的那一列单独剥出来做成数组。因为其他元素我们并不需要,
# 直接对庞大的训练集进行操作的话会很慢
x
=
trainDataArr[:, n]
# 同样将标签也转换成数组格式,x和y的转换只是单纯为了提高运行速度
# 测试过相对直接操作而言性能提升很大
y
=
trainLabelArr
predict
=
[]
# 依据小于和大于的标签依据实际情况会不同,在这里直接进行设置
if
rule
=
=
'LisOne'
:
L
=
1
H
=
-
1
else
:
L
=
-
1
H
=
1
# 遍历所有样本的特征m
for
i
in
range
(trainDataArr.shape[
0
]):
if
x[i] < div:
# 如果小于划分点,则预测为L
# 如果设置小于div为1,那么L就是1,
# 如果设置小于div为-1,L就是-1
predict.append(L)
# 如果预测错误,分类错误率要加上该分错的样本的权值(8.1式)
if
y[i] !
=
L:
e
+
=
D[i]
elif
x[i] >
=
div:
# 与上面思想一样
predict.append(H)
if
y[i] !
=
H:
e
+
=
D[i]
# 返回预测结果和分类错误率e
# 预测结果其实是为了后面做准备的,在算法8.1第四步式8.4中exp内部有个Gx,要用在那个地方
# 以此来更新新的D
return
np.array(predict), e
def
createSigleBoostingTree(trainDataArr, trainLabelArr, D):
'''
创建单层提升树
:param trainDataArr:训练数据集数组
:param trainLabelArr: 训练标签集数组
:param D: 算法8.1中的D
:return: 创建的单层提升树
'''
# 获得样本数目及特征数量
m, n
=
np.shape(trainDataArr)
# 单层树的字典,用于存放当前层提升树的参数
# 也可以认为该字典代表了一层提升树
sigleBoostTree
=
{}
# 初始化分类误差率,分类误差率在算法8.1步骤(2)(b)有提到
# 误差率最高也只能100%,因此初始化为1
sigleBoostTree[
'e'
]
=
1
# 对每一个特征进行遍历,寻找用于划分的最合适的特征
for
i
in
range
(n):
# 因为特征已经经过二值化,只能为0和1,因此分切分时分为-0.5, 0.5, 1.5三挡进行切割
for
div
in
[
-
0.5
,
0.5
,
1.5
]:
# 在单个特征内对正反例进行划分时,有两种情况:
# 可能是小于某值的为1,大于某值得为-1,也可能小于某值得是-1,反之为1
# 因此在寻找最佳提升树的同时对于两种情况也需要遍历运行
# LisOne:Low is one:小于某值得是1
# HisOne:High is one:大于某值得是1
for
rule
in
[
'LisOne'
,
'HisOne'
]:
# 按照第i个特征,以值div进行切割,进行当前设置得到的预测和分类错误率
Gx, e
=
calc_e_Gx(trainDataArr, trainLabelArr, i, div, rule, D)
# 如果分类错误率e小于当前最小的e,那么将它作为最小的分类错误率保存
if
e < sigleBoostTree[
'e'
]:
sigleBoostTree[
'e'
]
=
e
# 同时也需要存储最优划分点、划分规则、预测结果、特征索引
# 以便进行D更新和后续预测使用
sigleBoostTree[
'div'
]
=
div
sigleBoostTree[
'rule'
]
=
rule
sigleBoostTree[
'Gx'
]
=
Gx
sigleBoostTree[
'feature'
]
=
i
# 返回单层的提升树
return
sigleBoostTree
def
createBosstingTree(trainDataList, trainLabelList, treeNum
=
50
):
'''
创建提升树
创建算法依据“8.1.2 AdaBoost算法” 算法8.1
:param trainDataList:训练数据集
:param trainLabelList: 训练测试集
:param treeNum: 树的层数
:return: 提升树
'''
# 将数据和标签转化为数组形式
trainDataArr
=
np.array(trainDataList)
trainLabelArr
=
np.array(trainLabelList)
# 没增加一层数后,当前最终预测结果列表
finallpredict
=
[
0
]
*
len
(trainLabelArr)
# 获得训练集数量以及特征个数
m, n
=
np.shape(trainDataArr)
# 依据算法8.1步骤(1)初始化D为1/N
D
=
[
1
/
m]
*
m
# 初始化提升树列表,每个位置为一层
tree
=
[]
# 循环创建提升树
for
i
in
range
(treeNum):
# 得到当前层的提升树
curTree
=
createSigleBoostingTree(trainDataArr, trainLabelArr, D)
# 根据式8.2计算当前层的alpha
alpha
=
1
/
2
*
np.log((
1
-
curTree[
'e'
])
/
curTree[
'e'
])
# 获得当前层的预测结果,用于下一步更新D
Gx
=
curTree[
'Gx'
]
# 依据式8.4更新D
# 考虑到该式每次只更新D中的一个w,要循环进行更新知道所有w更新结束会很复杂(其实
# 不是时间上的复杂,只是让人感觉每次单独更新一个很累),所以该式以向量相乘的形式,
# 一个式子将所有w全部更新完。
# 该式需要线性代数基础,如果不太熟练建议补充相关知识,当然了,单独更新w也一点问题
# 没有
# np.multiply(trainLabelArr, Gx):exp中的y*Gm(x),结果是一个行向量,内部为yi*Gm(xi)
# np.exp(-1 * alpha * np.multiply(trainLabelArr, Gx)):上面求出来的行向量内部全体
# 成员再乘以-αm,然后取对数,和书上式子一样,只不过书上式子内是一个数,这里是一个向量
# D是一个行向量,取代了式中的wmi,然后D求和为Zm
# 书中的式子最后得出来一个数w,所有数w组合形成新的D
# 这里是直接得到一个向量,向量内元素是所有的w
# 本质上结果是相同的
D
=
np.multiply(D, np.exp(
-
1
*
alpha
*
np.multiply(trainLabelArr, Gx)))
/
sum
(D)
# 在当前层参数中增加alpha参数,预测的时候需要用到
curTree[
'alpha'
]
=
alpha
# 将当前层添加到提升树索引中。
tree.append(curTree)
# -----以下代码用来辅助,可以去掉---------------
# 根据8.6式将结果加上当前层乘以α,得到目前的最终输出预测
finallpredict
+
=
alpha
*
Gx
# 计算当前最终预测输出与实际标签之间的误差
error
=
sum
([
1
for
i
in
range
(
len
(trainDataList))
if
np.sign(finallpredict[i]) !
=
trainLabelArr[i]])
# 计算当前最终误差率
finallError
=
error
/
len
(trainDataList)
# 如果误差为0,提前退出即可,因为没有必要再计算算了
if
finallError
=
=
0
:
return
tree
# 打印一些信息
print
(
'iter:%d:%d, sigle error:%.4f, finall error:%.4f'
%
(i, treeNum, curTree[
'e'
], finallError))
# 返回整个提升树
return
tree
def
predict(x, div, rule, feature):
'''
输出单独层预测结果
:param x: 预测样本
:param div: 划分点
:param rule: 划分规则
:param feature: 进行操作的特征
:return:
'''
# 依据划分规则定义小于及大于划分点的标签
if
rule
=
=
'LisOne'
:
L
=
1
H
=
-
1
else
:
L
=
-
1
H
=
1
# 判断预测结果
if
x[feature] < div:
return
L
else
:
return
H
def
test(testDataList, testLabelList, tree):
'''
测试
:param testDataList:测试数据集
:param testLabelList: 测试标签集
:param tree: 提升树
:return: 准确率
'''
# 错误率计数值
errorCnt
=
0
# 遍历每一个测试样本
for
i
in
range
(
len
(testDataList)):
# 预测结果值,初始为0
result
=
0
# 依据算法8.1式8.6
# 预测式子是一个求和式,对于每一层的结果都要进行一次累加
# 遍历每层的树
for
curTree
in
tree:
# 获取该层参数
div
=
curTree[
'div'
]
rule
=
curTree[
'rule'
]
feature
=
curTree[
'feature'
]
alpha
=
curTree[
'alpha'
]
# 将当前层结果加入预测中
result
+
=
alpha
*
predict(testDataList[i], div, rule, feature)
# 预测结果取sign值,如果大于0 sign为1,反之为0
if
np.sign(result) !
=
testLabelList[i]:
errorCnt
+
=
1
# 返回准确率
return
1
-
errorCnt
/
len
(testDataList)
if
__name__
=
=
'__main__'
:
# 开始时间
start
=
time.time()
# 获取训练集
print
(
'start read transSet'
)
trainDataList, trainLabelList
=
loadData(
'../Mnist/mnist_train.csv'
)
# 获取测试集
print
(
'start read testSet'
)
testDataList, testLabelList
=
loadData(
'../Mnist/mnist_test.csv'
)
# 创建提升树
print
(
'start init train'
)
tree
=
createBosstingTree(trainDataList[:
10000
], trainLabelList[:
10000
],
40
)
# 测试
print
(
'start to test'
)
accuracy
=
test(testDataList[:
1000
], testLabelList[:
1000
], tree)
print
(
'the accuracy is:%d'
%
(accuracy
*
100
),
'%'
)
# 结束时间
end
=
time.time()
print
(
'time span:'
, end
-
start)
|
程序运行结果 。
start read transSet start read testSet start init train iter:0:40, sigle error:0.0804, finall error:0.0804 iter:1:40, sigle error:0.1448, finall error:0.0804 iter:2:40, sigle error:0.1362, finall error:0.0585 iter:3:40, sigle error:0.1864, finall error:0.0667 iter:4:40, sigle error:0.2249, finall error:0.0474 iter:5:40, sigle error:0.2634, finall error:0.0437 iter:6:40, sigle error:0.2626, finall error:0.0377 iter:7:40, sigle error:0.2935, finall error:0.0361 iter:8:40, sigle error:0.3230, finall error:0.0333 iter:9:40, sigle error:0.3034, finall error:0.0361 iter:10:40, sigle error:0.3375, finall error:0.0325 iter:11:40, sigle error:0.3364, finall error:0.0340 iter:12:40, sigle error:0.3473, finall error:0.0309 iter:13:40, sigle error:0.3006, finall error:0.0294 iter:14:40, sigle error:0.3267, finall error:0.0275 iter:15:40, sigle error:0.3584, finall error:0.0288 iter:16:40, sigle error:0.3492, finall error:0.0257 iter:17:40, sigle error:0.3506, finall error:0.0256 iter:18:40, sigle error:0.3665, finall error:0.0240 iter:19:40, sigle error:0.3769, finall error:0.0251 iter:20:40, sigle error:0.3828, finall error:0.0213 iter:21:40, sigle error:0.3733, finall error:0.0229 iter:22:40, sigle error:0.3785, finall error:0.0218 iter:23:40, sigle error:0.3867, finall error:0.0219 iter:24:40, sigle error:0.3850, finall error:0.0208 iter:25:40, sigle error:0.3823, finall error:0.0201 iter:26:40, sigle error:0.3825, finall error:0.0204 iter:27:40, sigle error:0.3874, finall error:0.0188 iter:28:40, sigle error:0.3952, finall error:0.0186 iter:29:40, sigle error:0.4018, finall error:0.0193 iter:30:40, sigle error:0.3889, finall error:0.0177 iter:31:40, sigle error:0.3939, finall error:0.0183 iter:32:40, sigle error:0.3838, finall error:0.0182 iter:33:40, sigle error:0.4021, finall error:0.0171 iter:34:40, sigle error:0.4119, finall error:0.0164 iter:35:40, sigle error:0.4093, finall error:0.0164 iter:36:40, sigle error:0.4135, finall error:0.0167 iter:37:40, sigle error:0.4099, finall error:0.0171 iter:38:40, sigle error:0.3871, finall error:0.0163 iter:39:40, sigle error:0.4085, finall error:0.0154 start to test the accuracy is:97 % time span: 3777.730945825577 。
以上就是python实现AdaBoost算法的示例的详细内容,更多关于python实现AdaBoost算法的资料请关注我其它相关文章! 。
原文链接:https://www.cnblogs.com/chenxiangzhen/p/10413307.html 。
最后此篇关于python实现AdaBoost算法的示例的文章就讲到这里了,如果你想了解更多关于python实现AdaBoost算法的示例的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!