[python机器学习及实践(6)]Sklearn实现主成分分析（PCA）-白红宇

[python机器学习及实践(6)]Sklearn实现主成分分析（PCA）

阅读量：6739 次

发布时间：2019-06-25

本文共 3322 字，大约阅读时间需要 11 分钟。

1.PCA原理

主成分分析（Principal Component Analysis，PCA），是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。

PCA算法：

2.PCA的实现

数据集：

64维的手写数字图像

代码：

#coding=utf-8import numpy as npimport pandas as pdfrom sklearn.decomposition import PCAfrom matplotlib import pyplot as pltfrom sklearn.svm import LinearSVCfrom sklearn.metrics import classification_report#1.初始化一个线性矩阵并求秩M = np.array([[1,2],[2,4]])   #初始化一个2*2的线性相关矩阵np.linalg.matrix_rank(M,tol=None)  # 计算矩阵的秩#2.读取训练数据与测试数据集。digits_train = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tra', header=None)digits_test = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/optdigits/optdigits.tes', header=None)print digits_train.shape   #(3823, 65)    3000+个样本，每个数据由64个特征，1个标签构成print digits_test.shape    #(1797, 65)#3将数据降维到2维并可视化# 3.1 分割训练数据的特征向量和标记X_digits = digits_train[np.arange(64)]         #得到64位特征值y_digits = digits_train[64]                    #得到对应的标签#3.2 PCA降维：降到2维estimator = PCA(n_components=2)X_pca=estimator.fit_transform(X_digits)#3.3 显示这10类手写体数字图片经PCA压缩后的2维空间分布def plot_pca_scatter():    colors = ['black', 'blue', 'purple', 'yellow', 'white', 'red', 'lime', 'cyan', 'orange', 'gray']    for i in xrange(len(colors)):        px = X_pca[:, 0][y_digits.as_matrix() == i]        py = X_pca[:, 1][y_digits.as_matrix() == i]        plt.scatter(px, py, c=colors[i])    plt.legend(np.arange(0, 10).astype(str))    plt.xlabel('First Principal Component')    plt.ylabel('Second Principal Component')    plt.show()plot_pca_scatter()# 4.用SVM分别对原始空间的数据（64维）和降到20维的数据进行训练，预测# 4.1 对训练数据／测试数据进行特征向量与分类标签的分离X_train = digits_train[np.arange(64)]y_train = digits_train[64]X_test = digits_test[np.arange(64)]y_test = digits_test[64]#4.2 用SVM对64维数据进行进行训练svc = LinearSVC()  # 初始化线性核的支持向量机的分类器svc.fit(X_train,y_train)y_pred = svc.predict(X_test)#4.3 用SVM对20维数据进行进行训练estimator = PCA(n_components=20)   # 使用PCA将原64维度图像压缩为20个维度pca_X_train = estimator.fit_transform(X_train)   # 利用训练特征决定20个正交维度的方向，并转化原训练特征pca_X_test = estimator.transform(X_test)psc_svc = LinearSVC()psc_svc.fit(pca_X_train,y_train)pca_y_pred = psc_svc.predict(pca_X_test)#5.获取结果报告#输出用64维度训练的结果print svc.score(X_test,y_test)print classification_report(y_test,y_pred,target_names=np.arange(10).astype(str))#输出用20维度训练的结果print psc_svc.score(pca_X_test,y_test)print classification_report(y_test,pca_y_pred,target_names=np.arange(10).astype(str))

运行结果：

1）将数据压缩到两维，在二维平面的可视化。