K-近邻算法(KNN)
概念:采用测量不同的特征值之间的距离方法进行分类,找出最近的K个邻居
1.K-近邻算法的流程
收集数据
准备数据
分析数据
训练算法
测试算法
使用算法
2.实际使用
K值的选择,如果选择较小的K值,整体模型变得复杂,容易发生过拟合;且K值的增大就意味着整体的模型变得简单
下面使用java实现KNN
从文本中获取数据:
10,20-A
12,18-A
8,26-A
1,1-B
0,1-B
11,22-A
7,20-A
40,20-C
35,18-C
50,26-C
2,2-B
45,19-C
3,1-B
3,4-B
38,22-C
package com.sosop.knn; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; public class Data { public static Map<String, List<int[]>> getData() { Map<String, List<int[]>> map = new HashMap<String, List<int[]>>(); try(BufferedReader reader = new BufferedReader(new InputStreamReader (new FileInputStream("/home/sosop/mytest/KNN-data")))) { String line; while((line = reader.readLine()) != null) { String[] data = line.split("-"); String[] strCoot = data[0].split(","); int[] coordinate = {Integer.valueOf(strCoot[0]), Integer.valueOf(strCoot[0])}; if(map.get(data[1]) == null) { List<int[]> list = new ArrayList<int[]>(); list.add(coordinate); map.put(data[1], list); } else { map.get(data[1]).add(coordinate); } } } catch (IOException e) { e.printStackTrace(); } return map; } }
package com.sosop.knn; import java.util.ArrayList; import java.util.Comparator; import java.util.HashMap; import java.util.List; import java.util.Map; import java.util.Map.Entry; import java.util.TreeMap; public class KNN { // 计算距离并排序 public static Map<Double, List<String>> distanceSort(int[] point) { Map<Double, List<String>> sortMap = new TreeMap<Double, List<String>>(); for (Entry<String, List<int[]>> entry : Data.getData().entrySet()) { List<int[]> list = entry.getValue(); for (int[] data : list) { double d = Math.sqrt(Math.pow((data[0] - point[0]), 2) + Math.pow((data[1] - point[1]), 2)); if (sortMap.get(d) == null) { List<String> arrList = new ArrayList<String>(); arrList.add(entry.getKey()); sortMap.put(d, arrList); } else { sortMap.get(d).add(entry.getKey()); } } } return sortMap; } // 找出K个距离最近的点,分析类别最多的,最后分类 public static String classify(int k, int point[]) { String category = null; String[] labels = new String[k]; int index = 0; for (Entry<Double, List<String>> entry : distanceSort(point).entrySet()) { for (String label : entry.getValue()) { labels[index] = label; index++; if (index == k) break; } if (index == k) break; } Map<String, Integer> statistic = new HashMap<String, Integer>(); //int max = 0; // 找出类别 for (String label : labels) { if (statistic.get(label) == null) { statistic.put(label, 1); } else { statistic.put(label, statistic.get(label) + 1); } //if(max < statistic.get(label)) max = statistic.get(label); } Map<String, Integer> sorted = new TreeMap<String, Integer>( new ValueComparator<String, Integer>(statistic)); sorted.putAll(statistic); for (String label : sorted.keySet()) { category = label; break; } return category; } public static void main(String[] args) { int[] point = {33,20}; System.out.println(classify(3, point)); } } // 定义按值倒序排序 class ValueComparator<T, E extends Number> implements Comparator<T> { Map<T, E> map; public ValueComparator(Map<T, E> map) { this.map = map; } @Override public int compare(T o1, T o2) { if (map.get(o1).doubleValue() > map.get(o2).doubleValue()) { return 1; } else if (map.get(o1).doubleValue() < map.get(o2).doubleValue()) { return -1; } else { return 0; } } }
相关推荐
机器学习实战-k-近邻算法改进约会网站的配对效果,包括KNN.py,datingTestSet.txt,datingTestSet2.txt,testknn.py
机器学习_最近邻_k-近邻算法_python实现
机器学习实战 - k近邻算法(KNN算法)总结 适合机器学习实战入门新手 K-近邻算法,又称为 KNN 算法,是数据挖掘技术中原理最简单的算法。 KNN 的工作原理:给定一个已知类别标签的数据训练集,输入没有标签的新数据...
《机器学习实战》-Ch2-k-近邻算法-源代码,笔记链接见:https://blog.csdn.net/qq_34243930/article/details/84948770
k近邻法(k-nearest neighbor, k-NN)是1967年年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理理是:存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中...
机器学习算法中,常见的十大算法之一,k 近邻法算法,资料是一个PDF文件,有原理,案例,解说。
KNN(K- Nearest Neighbor)法即K最邻近法,最初由 Cover和Hart于1968年提出,是一个理论上比较成熟的方法,也是最简单的机器学习算法之一。该方法的思路非常简单直观:如果一个样本在特征空间中的K个最相似(即特征...
机器学习之k-近邻算法这篇blog对于的源码和数据集
主要介绍了Python机器学习k-近邻算法(K Nearest Neighbor),结合实例形式分析了k-近邻算法的原理、操作步骤、相关实现与使用技巧,需要的朋友可以参考下
本代码主要利用Python工具实现k-近邻算法,简单明了,易于理解
K-NN(K近邻算法)实现手写字符的识别(C语言)实现,通过VS2010平台验证通过,代码详细易懂,是该算法上手的好资料.
k-近邻算法的课件。来自于菊安酱的机器学习实战12期的免费教程。内涵python源码。
本实例参照机器学习实战一书在python3上将K-近邻算法进行实现,里面包括喜好分类和手写数字识别
k-近邻算法的Python实现
该资源为人工智能-机器学习相关算法详细讲解,包括K-近邻算法、线性回归、逻辑回归、决策树算法、集成学习、聚类算法以及拓展的理论和实践案例。
机器学习实战2.2示例: 使用k-近邻算法改进约会网站的配对效果数据集
本资源为源自于机器学习实战的第二章k近邻算法中的全部源代码,共分为3部分,第一部分是最简单的分类器,第二部分是改进的分类器,第三部分是用于识别手写数字。全部源代码+全部测试数据+详细注释。
k-近邻算法----------回归算法.html
基于决策树的webshell检测,k-近邻算法是基于实例的学习,使用算法时我们必须有接近实际数据 的训练样本数据,k-近邻算法必须报错全部数据集,如果训练数据集的很大 必须使用大量的存储空间,此外,由于必须对数据...
Matlab实现的Knn算法,用于数字图像分类,具有很高的准确率