Python语言实现机器学习的K-近邻算法-6ren

Python语言实现机器学习的K-近邻算法

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

24

4

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章Python语言实现机器学习的K-近邻算法由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

写在前面。

额、、、最近开始学习机器学习嘛，网上找到一本关于机器学习的书籍，名字叫做《机器学习实战》。很巧的是，这本书里的算法是用Python语言实现的，刚好之前我学过一些Python基础知识，所以这本书对于我来说，无疑是雪中送炭啊。接下来，我还是给大家讲讲实际的东西吧.

什么是K-近邻算法?

简单的说，K-近邻算法就是采用测量不同特征值之间的距离方法来进行分类。它的工作原理是：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系，输入没有标签的新数据之后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取出样本集中特征最相似数据的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是K-近邻算法名称的由来.

提问：亲，你造K-近邻算法是属于监督学习还是无监督学习呢?

使用Python导入数据。

从K-近邻算法的工作原理中我们可以看出，要想实施这个算法来进行数据分类，我们手头上得需要样本数据，没有样本数据怎么建立分类函数呢。所以，我们第一步就是导入样本数据集合.

建立名为kNN.py的模块，写入代码:

 
    ? 
   
 
     
       
       
         from 
         numpy  
         import 
         * 
        
 
         import 
         operator 
        

            
        
 
         def 
         createDataSet(): 
        
 
            
         group  
         = 
         array([[ 
         1.0 
         , 
         1.1 
         ],[ 
         1.0 
         , 
         1.0 
         ],[ 
         0 
         , 
         0 
         ],[ 
         0 
         , 
         0.1 
         ]]) 
        
 
            
         labels  
         = 
         [ 
         'A' 
         , 
         'A' 
         , 
         'B' 
         , 
         'B' 
         ] 
        
 
            
         return 
         group, labels 
        
 
     
 
   

代码中，我们需要导入Python的两个模块：科学计算包NumPy和运算符模块。NumPy函数库是Python开发环境的一个独立模块，大多数Python版本里没有默认安装NumPy函数库，因此这里我们需要单独安装这个模块.

下载地址：http://sourceforge.net/projects/numpy/files/ 。

Python语言实现机器学习的K-近邻算法

有很多的版本，这里我选择的是numpy-1.7.0-win32-superpack-python2.7.exe.

实现K-近邻算法。

K-近邻算法的具体思想如下:

（1）计算已知类别数据集中的点与当前点之间的距离。

（2）按照距离递增次序排序。

（3）选取与当前点距离最小的k个点。

（4）确定前k个点所在类别的出现频率。

（5）返回前k个点中出现频率最高的类别作为当前点的预测分类。

Python语言实现K-近邻算法的代码如下:

 
    ? 
   
 
     
       
       
         # coding : utf-8 
        
 
         from 
         numpy  
         import 
         * 
        
 
         import 
         operator  
        
 
         import 
         kNN 
        
 
         group, labels  
         = 
         kNN.createDataSet() 
        
 
         def 
         classify(inX, dataSet, labels, k): 
        
 
            
         dataSetSize  
         = 
         dataSet.shape[ 
         0 
         ]  
        
 
            
         diffMat  
         = 
         tile(inX, (dataSetSize, 
         1 
         ))  
         - 
         dataSet 
        
 
            
         sqDiffMat  
         = 
         diffMat 
         * 
         * 
         2 
        
 
            
         sqDistances  
         = 
         sqDiffMat. 
         sum 
         (axis 
         = 
         1 
         ) 
        
 
            
         distances  
         = 
         sqDistances 
         * 
         * 
         0.5 
        
 
            
         sortedDistances  
         = 
         distances.argsort() 
        
 
            
         classCount  
         = 
         {} 
        
 
            
         for 
         i  
         in 
         range 
         (k): 
        
 
              
         numOflabel  
         = 
         labels[sortedDistances[i]] 
        
 
              
         classCount[numOflabel]  
         = 
         classCount.get(numOflabel, 
         0 
         )  
         + 
         1 
        
 
            
         sortedClassCount  
         = 
         sorted 
         (classCount.iteritems(), key 
         = 
         operator.itemgetter( 
         1 
         ),reverse 
         = 
         True 
         ) 
        
 
            
         return 
         sortedClassCount[ 
         0 
         ][ 
         0 
         ] 
        
 
         my  
         = 
         classify([ 
         0 
         , 
         0 
         ], group, labels,  
         3 
         ) 
        
 
         print 
         my 
        
 
     
 
   

运算结果如下:

Python语言实现机器学习的K-近邻算法

输出结果是B：说明我们新的数据（[0,0]）是属于B类.

代码详解。

相信有很多朋友们对上面这个代码有很多不理解的地方，接下来，我重点讲解几个此函数的关键点，以方便读者们和我自己回顾一下这个算法代码.

classify函数的参数:

inX：用于分类的输入向量 dataSet：训练样本集合 labels：标签向量 k：K-近邻算法中的k shape：是array的属性，描述一个多维数组的维度。

tile（inX, (dataSetSize,1)）：把inX二维数组化，dataSetSize表示生成数组后的行数，1表示列的倍数。整个这一行代码表示前一个二维数组矩阵的每一个元素减去后一个数组对应的元素值，这样就实现了矩阵之间的减法，简单方便得不让你佩服不行！。

axis=1：参数等于1的时候，表示矩阵中行之间的数的求和，等于0的时候表示列之间数的求和.

argsort()：对一个数组进行非降序排序。

classCount.get(numOflabel,0) + 1：这一行代码不得不说的确很精美啊。get()：该方法是访问字典项的方法，即访问下标键为numOflabel的项，如果没有这一项，那么初始值为0。然后把这一项的值加1。所以Python中实现这样的操作就只需要一行代码，实在是很简洁高效.

后话。

K-近邻算法（KNN）原理以及代码实现差不多就这样了，接下来的任务就是更加熟悉它，争取达到裸敲的地步.

以上所述上就是本文的全部内容了，希望大家能够喜欢.

最后此篇关于Python语言实现机器学习的K-近邻算法的文章就讲到这里了,如果你想了解更多关于Python语言实现机器学习的K-近邻算法的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

24

4

0

文章推荐：深入理解Python爬虫代理池服务

文章推荐： 2021手机全屏高清抖音最火壁纸女可爱的文字手机全屏壁纸2021

文章推荐：冷艳霸气古风网名女生简约酷酷的女生古风网名2021

文章推荐： python实现装饰器、描述符

算法~利用zset实现滑动窗口限流
滑动窗口限流滑动窗口限流是一种常用的限流算法，通过维护一个固定大小的窗口，在单位时间内允许通过的请求次数不超过设定的阈值。具体来说，滑动窗口限流算法通常包括以下几个步骤：初始化：设置窗口
【算法】表达式求值
表达式求值：一个只有+,-,*,/的表达式，没有括号一种神奇的做法：使用数组存储数字和运算符，先把优先级别高的乘法和除法计算出来，再计算加法和减法 int GetVal(string s){
【算法】前缀和
【算法】前缀和题目先来看一道题目：（前缀和模板题）已知一个数组A[]，现在想要求出其中一些数字的和。输入格式：先是整数N,M，表示一共有N个数字，有M组询问接下来有N个数，表示A[1]..
【算法】二叉树的各种遍历方式
1.前序遍历根-左-右的顺序遍历，可以使用递归 void preOrder(Node *u){ if(u==NULL)return; printf("%d ",u->val);
【算法】01背包
先看题目物品不能分隔，必须全部取走或者留下，因此称为01背包（只有不取和取两种状态）看第一个样例我们需要把4个物品装入一个容量为10的背包我们可以简化问题，从小到大入手分析 weightva
算法 - 矩阵中被另一种颜色包围的颜色
我最近在一次采访中遇到了这个问题: 给出以下矩阵: [[ R R R R R R], [ R B B B R R], [ B R R R B B], [ R B R R R R]] 找出是否有任
使用Outlook发送电子邮件的C++算法
我正在尝试通过 C++ 算法从我的 outlook 帐户发送一封电子邮件，该帐户已经打开并记录，但真的不知道从哪里开始(对于 outlook-c++ 集成)，谷歌也没有帮我这么多。任何提示将不胜感激。
容器上滑动窗口的C++算法
我发现自己像这样编写了一个手工制作的 while 循环: std::list foo; // In my case, map, but list is simpler auto currentPoin
检测正方形后运行命令的c++算法
我有用于检测正方形的 opencv 代码。现在我想在检测正方形后，代码运行另一个命令。代码如下: #include "cv.h" #include "cxcore.h" #include "high
二值图像的泛洪填充C++算法
我正在尝试模拟一个 matlab 函数“imfill”来填充二进制图像(1 和 0 的二维矩阵)。我想在矩阵中指定一个起点，并像 imfill 的 4 连接版本那样进行洪水填充。这是否已经存在于
算法递归公式
我正在阅读 Robert Sedgewick 的《C++ 算法》。 Basic recurrences section it was mentioned as 这种循环出现在循环输入以消除一个项目的递
算法 - 如何生成日期结构？
我正在思考如何在我的日历中生成代表任务的数据结构(仅供我个人使用)。我有来自 DBMS 的按日期排序的任务记录，如下所示: 买牛奶(18.1.2013) 任务日期 (2013-01-15) 任务标签(
算法:查找恰好出现两次的元素
输入一个未排序的整数数组A[1..n]只有 O(d) :(d int) 计算每个元素在单次迭代中出现在列表中的次数。 map 是balanced Binary Search Tree基于确保 O(nl
算法——基于寻找最大匹配数
我遇到了一个问题，但我仍然不知道如何解决。我想出了如何用蛮力的方式来做到这一点，但是当有成千上万的元素时它就不起作用了。 Problem: Say you are given the followin
算法 - 用于计算成对相互出现的次数
我有一个列表列表。 L1= [[...][...][.......].......]如果我在展平列表后获取所有元素并从中提取唯一值，那么我会得到一个列表 L2。我有另一个列表 L3，它是 L2 的某个
算法 - 在矩阵中求和
我们得到二维矩阵数组(假设长度为 i 和宽度为 j)和整数 k我们必须找到包含这个或更大总和的最小矩形的大小F.e k=7 4 1 1 1 1 1 4 4 Anwser是2，因为4+4=8 >= 7，
算法:根据周数获取下一年日期工作类次类型
我实行 3 类倒制，每周换类。顺序为早类 (m)、晚类 (n) 和下午类 (a)。我固定的订单，即它永远不会改变，即使那个星期不工作也是如此。我创建了一个函数来获取 ISO 周数。当我给它一个日期时
算法 - 找到满足输入元素任意组合的所有集合
假设我们有一个输入，它是一个元素列表: {a, b, c, d, e, f} 还有不同的集合，可能包含这些元素的任意组合，也可能包含不在输入列表中的其他元素: A:{e,f} B:{d,f,a} C:
算法:添加新元素时如何找到集合的子集？
我有一个子集算法，可以找到给定集合的所有子集。原始集合的问题在于它是一个不断增长的集合，如果向其中添加元素，我需要再次重新计算它的子集。有没有一种方法可以优化子集算法，该算法可以从最后一个计算点重新
算法:按预期频率将符号压缩成位串？
我有一个包含 100 万个符号及其预期频率的表格。我想通过为每个符号分配一个唯一(且前缀唯一)的可变长度位串来压缩这些符号的序列，然后将它们连接在一起以表示序列。我想分配这些位串，以使编码序列的预

首页

博学

6Ren·AI

商城

Python语言实现机器学习的K-近邻算法