统计学习方法第三章：k近邻法(k-NN),kd树及python实现

统计学习方法第二章：感知机(perceptron)算法及python实现
统计学习方法第三章：k近邻法(k-NN),kd树及python实现
统计学习方法第四章：朴素贝叶斯法(naive Bayes)，贝叶斯估计及python实现
统计学习方法第五章：决策树(decision tree),CART算法，剪枝及python实现
统计学习方法第五章：决策树(decision tree),ID3算法，C4.5算法及python实现

完整代码：
https://github.com/xjwhhh/LearningML/tree/master/StatisticalLearningMethod
欢迎follow和star

k近邻法(k-nearest neighbor,k-NN)是一种基本分类与回归方法。

k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。因此，k邻近法不具有显式的学习过程。

k近邻法实际上利用训练数据集对特征空间进行划分，并作为其分类的“模型”。

k值的选择，距离度量及分类决策规则是k近邻法的三个基本要素。

下图是k近邻法：

实现k近邻法时，主要考虑的问题是如何对训练数据进行快速k近邻搜索。这点在特征空间的维数大以及训练数据容量大时尤其必要

k近邻法最简单的实现方式是线性扫描。这时要计算输入实例与每一个训练实例的距离，当训练集很大时，计算非常耗时，这种方法是不可行的

为了提高k近邻搜索的效率，可以考虑使用特殊的结构存储训练数据，以减少计算距离的次数。其中一种方法就是kd树方法

下图是kd树的构造算法：

下图是kd树的搜索算法：

更具体的解释和证明可以看《统计学习方法》或者其他解释kd树的博文，我在这里不再赘述

下面是python代码实现，使用MINST数据集，构造kd树进行搜索，实现的是最近邻算法，即只搜寻最近的一个实例来决定类别

但有一个问题是运算很慢，我也不得其解，但算法核心部分实现应当是无误的

import pandas as pd
import numpy as np
import cv2
import logging
import time

from math import sqrt
from collections import namedtuple

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score


def log(func):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        logging.debug('start %s()' % func.__name__)
        ret = func(*args, **kwargs)

        end_time = time.time()
        logging.debug('end %s(), cost %s seconds' % (func.__name__, end_time - start_time))

        return ret

    return wrapper


def get_hog_features(trainset):
    # 利用opencv获取图像hog特征

    features = []

    hog = cv2.HOGDescriptor('../hog.xml')

    for img in trainset:
        img = np.reshape(img, (28, 28))
        cv_img = img.astype(np.uint8)

        hog_feature = hog.compute(cv_img)
        # hog_feature = np.transpose(hog_feature)
        features.append(hog_feature)

    features = np.array(features)
    features = np.reshape(features, (-1, 324))

    return features


def predict(test_set, kd_tree):
    predict = []

    for i in range(len(test_set)):
        predict.append(find_nearest(kd_tree, test_set[i]).label)

    return np.array(predict)

class KdNode(object):
    def __init__(self, dom_elt, split, left, right, label):
        self.dom_elt = dom_elt  # k维向量节点(k维空间中的一个样本点)
        self.split = split  # 整数（进行分割维度的序号）
        self.left = left  # 该结点分割超平面左子空间构成的kd-tree
        self.right = right  # 该结点分割超平面右子空间构成的kd-tree
        self.label = label


class KdTree(object):

    @log
    def __init__(self, data, labels):
        k = len(data[0])  # 数据维度

        def create_node(split, data_set, labels):  # 按第split维划分数据集,创建KdNode

            # print(len(data_set))
            if (len(data_set) == 0):
                return None

            sort_index = data_set[:, split].argsort()
            data_set = data_set[sort_index]
            labels = labels[sort_index]
            # print(data_set)

            split_pos = len(data_set) // 2
            # print(split_pos)
            median = data_set[split_pos]  # 中位数分割点
            label = labels[split_pos]
            split_next = (split + 1) % k  # cycle coordinates

            # 递归的创建kd树
            return KdNode(median, split,
                          create_node(split_next, data_set[:split_pos], labels[:split_pos]),  # 创建左子树
                          create_node(split_next, data_set[split_pos + 1:], labels[split_pos + 1:]),  # 创建右子树
                          label)

        self.root = create_node(0, data, labels)  # 从第0维分量开始构建kd树,返回根节点


# 定义一个namedtuple,分别存放最近坐标点、最近距离和访问过的节点数
result = namedtuple("Result_tuple", "nearest_point  nearest_dist  nodes_visited label")


@log
def find_nearest(tree, point):
    k = len(point)  # 数据维度

    def travel(kd_node, target, max_dist):
        if kd_node is None:
            return result([0] * k, float("inf"), 0, 0)  # python中用float("inf")和float("-inf")表示正负无穷

        nodes_visited = 1

        s = kd_node.split  # 进行分割的维度
        pivot = kd_node.dom_elt  # 进行分割的“轴”

        if target[s] <= pivot[s]:  # 如果目标点第s维小于分割轴的对应值(目标离左子树更近)
            nearer_node = kd_node.left  # 下一个访问节点为左子树根节点
            further_node = kd_node.right  # 同时记录下右子树
        else:  # 目标离右子树更近
            nearer_node = kd_node.right  # 下一个访问节点为右子树根节点
            further_node = kd_node.left
        if (nearer_node is None):
            label = 0
        else:
            label = nearer_node.label

        temp1 = travel(nearer_node, target, max_dist)  # 进行遍历找到包含目标点的区域

        nearest = temp1.nearest_point  # 以此叶结点作为“当前最近点”
        dist = temp1.nearest_dist  # 更新最近距离

        nodes_visited += temp1.nodes_visited

        if dist < max_dist:
            max_dist = dist  # 最近点将在以目标点为球心，max_dist为半径的超球体内

        temp_dist = abs(pivot[s] - target[s])  # 第s维上目标点与分割超平面的距离
        if max_dist < temp_dist:  # 判断超球体是否与超平面相交
            return result(nearest, dist, nodes_visited, temp1.label)  # 不相交则可以直接返回，不用继续判断

        # ----------------------------------------------------------------------
        # 计算目标点与分割点的欧氏距离
        temp_dist = sqrt(sum((p1 - p2) ** 2 for p1, p2 in zip(pivot, target)))

        if temp_dist < dist:  # 如果“更近”
            nearest = pivot  # 更新最近点
            dist = temp_dist  # 更新最近距离
            max_dist = dist  # 更新超球体半径
            label = kd_node

        # 检查另一个子结点对应的区域是否有更近的点
        temp2 = travel(further_node, target, max_dist)

        nodes_visited += temp2.nodes_visited
        if temp2.nearest_dist < dist:  # 如果另一个子结点内存在更近距离
            nearest = temp2.nearest_point  # 更新最近点
            dist = temp2.nearest_dist  # 更新最近距离
            label = temp2.label

        return result(nearest, dist, nodes_visited, label)

    return travel(tree.root, point, float("inf"))  # 从根节点开始递归


k = 10

if __name__ == '__main__':
    logger = logging.getLogger()
    logger.setLevel(logging.DEBUG)

    raw_data = pd.read_csv('../data/train.csv', header=0)
    data = raw_data.values

    images = data[0:, 1:]
    labels = data[:, 0]

    features = get_hog_features(images)
    # 选取 2/3 数据作为训练集， 1/3 数据作为测试集
    train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size=0.33,random_state=1)

    kd_tree = KdTree(train_features, train_labels)

    test_predict = predict(test_features, kd_tree)

    score = accuracy_score(test_labels, test_predict)
    print("The accuracy score is ", score)

水平有限，如有错误，希望指出