Aritalab:Lecture/Math/LR/R LM - Revision history

Adm: /* Rによる回帰分析 */

2015-07-15T02:37:57Z

‎Rによる回帰分析

Adm: /* Rによる回帰分析 */

2013-06-04T01:47:10Z

‎Rによる回帰分析

Adm: /* Rによる回帰分析 */

2013-06-04T01:41:37Z

‎Rによる回帰分析

Adm at 01:20, 4 June 2013

2013-06-04T01:20:03Z

Adm: /* RによるPCA */

2013-06-04T00:36:58Z

‎RによるPCA

Adm: Created page with ";参考サイト * [http://www.okada.jp.org/RWiki/?R%A4%CE%B4%F0%CB%DC%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8%C3%E6%A4%CE%C2%BF%CA%D1%CE%CC%B2%F2%C0%CF%B4%D8%BF%F4%B0%EC%CD%F7#f9670e78..."

2013-06-03T15:53:55Z

Created page with ";参考サイト * [http://www.okada.jp.org/RWiki/?R%A4%CE%B4%F0%CB%DC%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8%C3%E6%A4%CE%C2%BF%CA%D1%CE%CC%B2%F2%C0%CF%B4%D8%BF%F4%B0%EC%CD%F7#f9670e78..."

New page

;参考サイト
* [http://www.okada.jp.org/RWiki/?R%A4%CE%B4%F0%CB%DC%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8%C3%E6%A4%CE%C2%BF%CA%D1%CE%CC%B2%F2%C0%CF%B4%D8%BF%F4%B0%EC%CD%F7#f9670e78 RJPWiki: Rの基本パッケージ中の多変量解析関数一覧]
* [http://aoki2.si.gunma-u.ac.jp/R/pca.html 統計学自習ノート]

==Rによる回帰分析==

R では lm という関数で回帰分析ができます。Rに組み込んである airquality というデータをみてみます。
<pre>
> help("iris")
</pre>
アンダーソンによる菖蒲のデータです。
<pre>
> require(graphics)
> pairs(iris[1:4], main = "Iris Data", pch=21, bg = c("red", "green","blue")[unclass(iris$Species)])
</pre>
Sepal.Length, Sepal.Width, Petal.Length, Petal.Width, Species の 5 変数があり総当りの相関が出ています。
この中で Petal(花弁）の Length と Width はとても相関が高いことを確認しましょう。Sepal（萼片）の長さはどの変数と関連するのでしょうか。重回帰分析をおこないます。
<pre>
> s <- lm (Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width , data=iris)
> summary(s)

Call:
lm(formula = Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width,
data = iris)

Residuals:
Min 1Q Median 3Q Max
-0.82816 -0.21989 0.01875 0.19709 0.84570

Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.85600 0.25078 7.401 9.85e-12 ***
Sepal.Width 0.65084 0.06665 9.765 < 2e-16 ***
Petal.Length 0.70913 0.05672 12.502 < 2e-16 ***
Petal.Width -0.55648 0.12755 -4.363 2.41e-05 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.3145 on 146 degrees of freedom
Multiple R-squared: 0.8586, Adjusted R-squared: 0.8557
F-statistic: 295.5 on 3 and 146 DF, p-value: < 2.2e-16
</pre>
目的変量が Sepal.Length, 説明変量が Sepal.Width, Petal.Length, Petal.Width です。各変量の重みは summary の Estimate として表示されています。Significance code は帰無仮説に対する有意差を示しています。Sepal.Width, Petal.Length が大きく関係することがわかります。
しかし Petal.Length と Petal.Width は相関が高かったのではないでしょうか。
<pre>
> cor(iris$Petal.Length, iris$Petal.Width)
[1] 0.9628654
</pre>
これほど相関するのに重回帰分析の Estimate は Length と Width で逆になっています。これは問題です。
Length と Width はほぼ同じ意味を示すのに Estimate が逆になるからです。実際、Petal.Width を説明変数から外してもほとんど同じ精度を得ることができます。

変数選択は step 関数でも行えます。 AIC (Akaike Information Criterion) を指標に変数を除去するはずですが、Petal.Width は残るようです。
<pre>
> s.step1 <- step(s)
Start: AIC=-343.04
Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width

Df Sum of Sq RSS AIC
<none> 14.445 -343.04
- Petal.Width 1 1.8834 16.329 -326.66
- Sepal.Width 1 9.4353 23.881 -269.63
- Petal.Length 1 15.4657 29.911 -235.86
</pre>

==RによるPCA==

主成分分析は prcomp という関数で実行します。
<pre>
> s <- prcomp(iris[1:4], scale=FALSE)
> biplot(s,xlabs = iris[,1])
> summary(s)
Importance of components:
PC1 PC2 PC3 PC4
Standard deviation 2.0563 0.49262 0.2797 0.15439
Proportion of Variance 0.9246 0.05307 0.0171 0.00521
Cumulative Proportion 0.9246 0.97769 0.9948 1.00000
</pre>
主成分 PC1 でほとんどの分散を説明できることがわかります。
プロットをみると、PC1は Petal.Width と Sepal.Width の寄与が大きいようです。またPetal.Length と Petal.Width が同じ内容を示すこと（ベクトルがほぼ同じ）がわかります。

@@ Line 8: / Line 8: @@
 > help("iris")
 </pre>
-helpをみるとアンダーソンによる菖蒲のデータ（50ずつ3種）であることがわかります。
+helpをみるとアンダーソンが用いたアヤメのデータ（50ずつ3種）であることがわかります。
 <pre>
 > require(graphics)

← Older revision		Revision as of 00:36, 4 June 2013
Line 63:		Line 63:
	- Petal.Length 1 15.4657 29.911 -235.86		- Petal.Length 1 15.4657 29.911 -235.86
	</pre>		</pre>
−
−	~~==RによるPCA==~~
−
−	~~主成分分析は prcomp という関数で実行します。~~
−	~~<pre>~~
−	~~> s <- prcomp(iris[1:4], scale=FALSE)~~
−	~~> biplot(s,xlabs = iris[,1])~~
−	~~> summary(s)~~
−	~~Importance of components:~~
−	~~PC1 PC2 PC3 PC4~~
−	~~Standard deviation 2.0563 0.49262 0.2797 0.15439~~
−	~~Proportion of Variance 0.9246 0.05307 0.0171 0.00521~~
−	~~Cumulative Proportion 0.9246 0.97769 0.9948 1.00000~~
−	~~</pre>~~
−	~~主成分 PC1 でほとんどの分散を説明できることがわかります。~~
−	プロットをみると、PC1は Petal.Width と Sepal.Width の寄与が大きいようです。またPetal.Length と Petal.Width が同じ内容を示すこと（ベクトルがほぼ同じ）がわかります。

@@ Line 15: / Line 15: @@
 > pairs(iris[1:4], main = "Iris Data", pch=21, bg = c("red", "green","blue")[unclass(iris$Species)])
 </pre>
-Sepal.Length, Sepal.Width, Petal.Length, Petal.Width, Species の 5 変数があり総当りの相関が出ています。
+萼片の長さと幅（Sepal.Length, Sepal.Width）、花びらの長さと幅（Petal.Length, Petal.Width）について、3種（Species） のデータについて総当りの相関が出ています。この中で Petal(花弁）の Length と Width はとても相関が高いことを確認しましょう。
-この中で Petal(花弁）の Length と Width はとても相関が高いことを確認しましょう。Sepal（萼片）の長さはどの変数と関連するのでしょうか。重回帰分析をおこないます。
 <pre>
 > s <- lm (Sepal.Length ~ Sepal.Width + Petal.Length + Petal.Width , data=iris)
@@ Line 43: / Line 44: @@
 F-statistic: 295.5 on 3 and 146 DF,  p-value: < 2.2e-16
 </pre>
-目的変量が Sepal.Length, 説明変量が Sepal.Width, Petal.Length, Petal.Width です。各変量の重みは summary の Estimate として表示されています。Significance code は帰無仮説に対する有意差を示しています。Sepal.Width, Petal.Length が大きく関係することがわかります。
+目的変量が Sepal.Length です。説明変量として Sepal.Width, Petal.Length, Petal.Width を使います。各変量の重みは summary の Estimate として表示されています。Significance code は帰無仮説に対する有意差を示しています。
-しかし Petal.Length と Petal.Width は相関が高かったのではないでしょうか。
 <pre>
 > cor(iris$Petal.Length, iris$Petal.Width)
 [1] 0.9628654
 </pre>
-これほど相関するのに重回帰分析の Estimate は Length と Width で逆になっています。これは問題です。
-Length と Width はほぼ同じ意味を示すのに Estimate が逆になるからです。実際、Petal.Width を説明変数から外してもほとんど同じ精度を得ることができます。
+これこそ重回帰分析の弱点で、共線性と呼ばれる問題です。
 変数選択は step 関数でも行えます。 AIC (Akaike Information Criterion) を指標に変数を除去するはずですが、Petal.Width は残るようです。

@@ Line 4: / Line 4: @@
 ==Rによる回帰分析==
-R では lm という関数で回帰分析ができます。Rに組み込んである airquality というデータをみてみます。
+R では lm という関数で回帰分析ができます。Rに組み込んである iris というデータをみてみます。
 <pre>
 > help("iris")
 </pre>
-アンダーソンによる菖蒲のデータです。
+helpをみるとアンダーソンによる菖蒲のデータ（50ずつ3種）であることがわかります。
 <pre>
 > require(graphics)

@@ Line 1: / Line 1: @@
 ;参考サイト
 * [http://www.okada.jp.org/RWiki/?R%A4%CE%B4%F0%CB%DC%A5%D1%A5%C3%A5%B1%A1%BC%A5%B8%C3%E6%A4%CE%C2%BF%CA%D1%CE%CC%B2%F2%C0%CF%B4%D8%BF%F4%B0%EC%CD%F7#f9670e78 RJPWiki: Rの基本パッケージ中の多変量解析関数一覧]
 ==Rによる回帰分析==