Differences

This shows you the differences between two versions of the page.

--- expected_value_and_variance_properties [2023/12/07 12:18] – [Theorem 2: Why square] hkimscil
+++ expected_value_and_variance_properties [2025/10/01 09:00] (current) – [e.gs in R] hkimscil
@@ Line 1: / Line 1: @@
-====== Theorems ======
+====== Expected value and variance properties ======
+^ EXPECT VALUE ^^
 | $E(X)$ | $\sum{X}\cdot P(X=x)$  |
 | $E(X^2)$ | $\sum{X^{2}}\cdot P(X=x)$  |
@@ Line 6: / Line 7: @@
 | $E(aX - bY)$ | $aE(X)-bE(Y)$  |
 | $E(X1 + X2 + X3)$ | $E(X) + E(X) + E(X) = 3E(X) \;\;\; $ ((X1,X2,X3는 동일한 statistics을 갖는 (X의 특성을 갖는, 즉, 집합 X의 동일한 mean, variance, sdev 값을 갖는) 집합))   |
+^ VARIANCE ^^
 | $Var(X)$ | $E(X-\mu)^{2} = E(X^{2})-E(X)^{2} \;\;\; $   see $\ref{var.theorem.1} $ |
 | $Var(c)$  | $0 \;\;\; $ see $\ref{var.theorem.41}$   |
@@ Line 27: / Line 30: @@
 ====== Theorem 2: Why square ======
 $ \ref{var.theorem.1} $ 에 따르면
 $$ Var[X] = E[X^2] − E[X]^2 $$
 이므로
-\begin{align*}
+\begin{eqnarray*}
-Var[aX] & = E[a^2X^2] − (E[aX])^2 \\
+Var[aX] & = & E[a^2X^2] − (E[aX])^2 \\
- & = a^2 E[X^2] - (a E[X])^2 \\
+ & = & a^2 E[X^2] - (a E[X])^2 \\
- & = a^2 E[X^2] - (a^2 E[X]^2) \\
+ & = & a^2 E[X^2] - (a^2 E[X]^2) \\
- & = a^2 (E[X^2] - (E[X])^2) \\
+ & = & a^2 (E[X^2] - (E[X])^2) \\
- & = a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\
+ & = & a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\
-\end{align*}
+\end{eqnarray*}
 ====== Theorem 3: Why Var[X+c] = Var[X] ======
 \begin{align}
@@ Line 127: / Line 129: @@
 따라서
-\begin{align*}
+\begin{eqnarray}
-Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \\
+Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \nonumber \\
-\end{align*}
+\end{eqnarray}
+그런데 일반적으로 변인 X와 변인 Y는 독립적이므로 두 변인 간의 cov값은 (Cov[X,Y]) 0 이다. 따라서
+\begin{eqnarray}
+Var[(X+Y)] = Var[X] + Var[Y] \nonumber \\
+\end{eqnarray}
+마찬가지로
+\begin{eqnarray}
+Var[(X-Y)] & = & Var[X] - 2 Cov[X,Y] + Var[Y] \nonumber \\
+& = & Var[X] + Var[Y] \nonumber
+\end{eqnarray}
@@ Line 159: / Line 173: @@
 = & Var(X) + Var(X) \\
+= & 2 * Var(X) \\
 \end{align*}
-X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻. 반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).
+X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻.
+반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).
 \begin{align}
@@ Line 193: / Line 210: @@
 # variance theorem 4-1, 4-2
 # http://commres.net/wiki/variance_theorem
 # need a function, rnorm2
-rnorm2 <- function(n,mean,sd) { mean+sd*scale(rnorm(n)) }
+rnorm2 <- function(n,mean,sd) {
+    mean+sd*scale(rnorm(n))
+}
 m <- 50
 v <- 4
 n <- 100000
@@ Line 204: / Line 224: @@
 x3 <- rnorm2(n, m, sqrt(v))
-m.x1 <- round(mean(x1),3)
+# Note: x1, x2, x3는 평균과 표준편차를
-m.x2 <- round(mean(x2),3)
+# 같은 값으로 갖는 (공유하는) 독립적인
-m.x3 <- round(mean(x3),3)
+# 집단
-m.x1
-m.x2
-m.x3
 y1 <- 3*x1 +5
@@ Line 216: / Line 233: @@
 exp.y1
 exp.3xplus5
-v.x1 <- var(x1)
-v.x2 <- var(x2)
-v.x3 <- var(x3)
-v.x1
-v.x2
-v.x3
 var(x1)
 var((3*x1)+5)
 ^2 * var(x1)
+var(y1)  # 9 * var(x) 위와 동일
 v.12 <- var(x1 + x2)
 v.12
 ######################################
 ## v.12 should be near var(x1)+var(x2)
 ######################################
-## 정확히 2*v가 아닌 이유는 x1, x2가
+# 정확히 2*v가 아닌 이유는 x1, x2가
-## 아주 약간은 (random하게) dependent하기 때문
+# 아주 약간은 (random하게) dependent하기 때문
-##(혹은 상관관계가 있기 때문)
+# (혹은 상관관계가 있기 때문, covariance가
-## theorem 5-1 에서
+# 있기 때문)
-## var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
+# theorem 5-1 에서
+# var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
 cov.x1x2 <- cov(x1,x2)
@@ Line 255: / Line 268: @@
 v.11 <- var(x1 + x1)
 # var(2*x1) = 2^2 var(X1)
+^2*var(x1)
 v.11
 </code>
+<code>
+> # variance theorem 4-1, 4-2
+> # http://commres.net/wiki/variance_theorem
+>
+> # need a function, rnorm2
+> rnorm2 <- function(n,mean,sd) {
++     mean+sd*scale(rnorm(n))
++ }
+>
+> m <- 50
+> v <- 4
+> n <- 100000
+> set.seed(1)
+> x1 <- rnorm2(n, m, sqrt(v))
+> x2 <- rnorm2(n, m, sqrt(v))
+> x3 <- rnorm2(n, m, sqrt(v))
+>
+> # Note: x1, x2, x3는 평균과 표준편차를
+> # 같은 값으로 갖는 (공유하는) 독립적인
+> # 집단
+>
+> y1 <- 3*x1 +5
+> exp.y1 <- mean(y1)
+> exp.3xplus5 <- 3 * mean(x1) + 5
+> exp.y1
+[1] 155
+> exp.3xplus5
+[1] 155
+>
+> var(x1)
+     [,1]
+[1,]    4
+> var((3*x1)+5)
+     [,1]
+[1,]   36
+> 3^2 * var(x1)
+     [,1]
+[1,]   36
+> var(y1)  # 9 * var(x) 위와 동일
+     [,1]
+[1,]   36
+>
+> v.12 <- var(x1 + x2)
+> v.12
+         [,1]
+[1,] 7.974862
+>
+> ######################################
+> ## v.12 should be near var(x1)+var(x2)
+> ######################################
+> # 정확히 2*v가 아닌 이유는 x1, x2가
+> # 아주 약간은 (random하게) dependent하기 때문
+> # (혹은 상관관계가 있기 때문, covariance가
+> # 있기 때문)
+> # theorem 5-1 에서
+> # var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
+>
+> cov.x1x2 <- cov(x1,x2)
+> cov.x1x2
+            [,1]
+[1,] -0.01256899
+>
+> var(x1 + x2)
+         [,1]
+[1,] 7.974862
+> var(x1) + var(x2) + (2*cov.x1x2)
+         [,1]
+[1,] 7.974862
+>
+> # theorem 5-2 도 확인
+> var(x1 - x2)
+         [,1]
+[1,] 8.025138
+> var(x1) + var(x2) - (2 * cov.x1x2)
+         [,1]
+[1,] 8.025138
+>
+> # only when x1, x2 are independent (orthogonal)
+> # var(x1+x2) == var(x1) + var(x2)
+> ########################################
+>
+> ## 그리고 동일한 (독립적이지 않은) 집합 X1에 대해서는
+> v.11 <- var(x1 + x1)
+> # var(2*x1) = 2^2 var(X1)
+> 2^2*var(x1)
+     [,1]
+[1,]   16
+> v.11
+     [,1]
+[1,]   16
+>
+> v.111 <- var(x1 + x1 + x1)
+> v.111
+     [,1]
+[1,]   36
+> var(3*x1)
+     [,1]
+[1,]   36
+> 3^2*var(x1)
+     [,1]
+[1,]   36
+>
+</code>