Aritalab:Lecture/Math/PLS

主成分回帰

回帰分析は説明変数間に相関が高いものがあると機能しませんでした（共線性の問題）。 そこで、説明変量に対して最初に主成分分析を施し、そのスコアを利用して目的変量との重回帰分析をおこなう手法を主成分回帰 (principal component regression) と呼びます。

PLS: Partial Least Squares

これまで、目的変量がひとつの場合だけを扱ってきましたが、目的変量側も数が多い場合に使うのがPLSです。 主成分回帰は説明変量側のみで主成分分析を施していましたが、同様の変量圧縮を目的変量側でもおこないます。

NIPALSアルゴリズム

1. 最初は目的変量 Y の中で最大の分散を持つ列を選び u とする
2. u と X の各列との相関を計算、ローディング p^T を求める
3. p^T と各サンプル (X の各行) との相関を計算、スコア t を求める
4. t と Y の各列との相関を計算、ローディング q^T を求める