16、降维技术与投资组合管理实战

降维技术与投资组合管理实战

1. 降维技术概述

降维技术旨在通过使用更少的特征更高效地表示给定数据集中的信息。这些技术通过丢弃数据中无信息的变化或识别数据所在的低维子空间，将数据投影到低维空间。常见的降维技术包括：
- 主成分分析（PCA）
- 核主成分分析（KPCA）
- t分布随机邻域嵌入（t - SNE）

从广义上讲，这些降维算法可分为线性和非线性两类。线性算法（如PCA）强制新变量为原始特征的线性组合，而非线性算法（如KPCA和t - SNE）能捕捉数据中更复杂的结构，但仍需做出假设以得出解决方案。

1.1 主成分分析（PCA）

PCA的核心思想是在保留尽可能多的数据方差的同时，减少具有大量变量的数据集的维度。它通过线性组合找到一组新变量，即主成分（PCs），这些主成分相互正交（或独立），能够代表原始数据。主成分的数量是PCA算法的一个超参数，用于设定目标维度。

PCA算法的工作流程如下：
1. 将原始数据投影到主成分空间。
2. 识别一系列主成分，每个主成分与数据中最大方差的方向对齐（在考虑先前计算的成分所捕获的变化之后）。
3. 顺序优化确保新成分与现有成分不相关，从而构成向量空间的正交基。

计算主成分有两种方法：特征分解和奇异值分解（SVD）。

1.1.1 特征分解

特征分解的步骤如下：
1. 为特征创建协方差矩阵。
2. 计算协方差矩阵的特征向量，这些向量是最大方差的方向。
3. 创建特征值，它们定义了主成分的大小。

对于n维数据，会有一个n × n