COMMunication
RESearch.NET

User Tools

Site Tools

You are here: index » expected_value_and_variance_properties
Trace:
expected_value_and_variance_properties

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revisionPrevious revision
Next revision		Previous revision
expected_value_and_variance_properties [2023/10/04 12:42] – [Theorems] hkimscilexpected_value_and_variance_properties [2025/10/01 09:00] (current) – [e.gs in R] hkimscil
Line 1: Line 1:
-====== Theorems ======+====== Expected value and variance properties ====== 
 +^ EXPECT VALUE ^^
 | $E(X)$ | $\sum{X}\cdot P(X=x)$  | | $E(X)$ | $\sum{X}\cdot P(X=x)$  |
 | $E(X^2)$ | $\sum{X^{2}}\cdot P(X=x)$  | | $E(X^2)$ | $\sum{X^{2}}\cdot P(X=x)$  |
Line 6: Line 7:
 | $E(aX - bY)$ | $aE(X)-bE(Y)$  | | $E(aX - bY)$ | $aE(X)-bE(Y)$  |
 | $E(X1 + X2 + X3)$ | $E(X) + E(X) + E(X) = 3E(X) \;\;\; $ ((X1,X2,X3는 동일한 statistics을 갖는 (X의 특성을 갖는, 즉, 집합 X의 동일한 mean, variance, sdev 값을 갖는) 집합))   | | $E(X1 + X2 + X3)$ | $E(X) + E(X) + E(X) = 3E(X) \;\;\; $ ((X1,X2,X3는 동일한 statistics을 갖는 (X의 특성을 갖는, 즉, 집합 X의 동일한 mean, variance, sdev 값을 갖는) 집합))   |
 +
 +^ VARIANCE ^^
 | $Var(X)$ | $E(X-\mu)^{2} = E(X^{2})-E(X)^{2} \;\;\; $   see $\ref{var.theorem.1} $ | | $Var(X)$ | $E(X-\mu)^{2} = E(X^{2})-E(X)^{2} \;\;\; $   see $\ref{var.theorem.1} $ |
 | $Var(c)$  | $0 \;\;\; $ see $\ref{var.theorem.41}$   | | $Var(c)$  | $0 \;\;\; $ see $\ref{var.theorem.41}$   |
 | $Var(aX + b)$ | $a^{2}Var(X) \;\;\; $  see $\ref{var.theorem.2}$ and $\ref{var.theorem.3}$ | | $Var(aX + b)$ | $a^{2}Var(X) \;\;\; $  see $\ref{var.theorem.2}$ and $\ref{var.theorem.3}$ |
-| $Var(aX - bY)$ | $a^{2}Var(X) + b^{2}Var(Y)$ see $\ref{var.theorem.2} and \ref{var.theorem.52}$ |+| $Var(aX - bY)$ | $a^{2}Var(X) + b^{2}Var(Y)$ see $\ref{var.theorem.2}$ and $\ref{var.theorem.52}$ |
 | $Var(X1 + X2 + X3)$ | $Var(X) + Var(X) + Var(X) = 3 Var(X) \;\;\; $ ((X1, x2, x3는 동일한 특성을 (statistic, 가령 Xbar = 0, sd=1) 갖는 독립적인 세 집합이다. 따라서 세집합의 분산은 모두 1인 상태이고, 이들의 분삽값은 모두 동일하므로 Var(3X)의 성질을 갖는다.))  | | $Var(X1 + X2 + X3)$ | $Var(X) + Var(X) + Var(X) = 3 Var(X) \;\;\; $ ((X1, x2, x3는 동일한 특성을 (statistic, 가령 Xbar = 0, sd=1) 갖는 독립적인 세 집합이다. 따라서 세집합의 분산은 모두 1인 상태이고, 이들의 분삽값은 모두 동일하므로 Var(3X)의 성질을 갖는다.))  |
 | $Var(X1 + X1 + X1)$  | $Var(3X) = 3^2 Var(X) = 9 Var(X) $  | | $Var(X1 + X1 + X1)$  | $Var(3X) = 3^2 Var(X) = 9 Var(X) $  |
Line 27: Line 30:
  
 ====== Theorem 2: Why square ====== ====== Theorem 2: Why square ======
- 
 $ \ref{var.theorem.1} $ 에 따르면  $ \ref{var.theorem.1} $ 에 따르면 
 $$ Var[X] = E[X^2] − E[X]^2 $$  $$ Var[X] = E[X^2] − E[X]^2 $$ 
 이므로 이므로
  
-\begin{align*}+\begin{eqnarray*}
 Var[aX] & = & E[a^2X^2] − (E[aX])^2 \\ Var[aX] & = & E[a^2X^2] − (E[aX])^2 \\
  & = & a^2 E[X^2] - (a E[X])^2 \\  & = & a^2 E[X^2] - (a E[X])^2 \\
Line 38: Line 40:
  & = & a^2 (E[X^2] - (E[X])^2) \\  & = & a^2 (E[X^2] - (E[X])^2) \\
  & = & a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\  & = & a^2 (Var[X]) \label{var.theorem.2} \tag{variance theorem 2} \\
-\end{align*}+\end{eqnarray*}
 ====== Theorem 3: Why Var[X+c] = Var[X] ====== ====== Theorem 3: Why Var[X+c] = Var[X] ======
 \begin{align} \begin{align}
Line 127: Line 129:
  
 따라서  따라서 
-\begin{align*} +\begin{eqnarray} 
-Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \\ +Var[(X+Y)] = Var[X] + 2 Cov[X,Y] + Var[Y] \nonumber \\  
-\end{align*}+\end{eqnarray} 
 + 
 +그런데 일반적으로 변인 X와 변인 Y는 독립적이므로 두 변인 간의 cov값은 (Cov[X,Y]) 0 이다. 따라서  
 +\begin{eqnarray} 
 +Var[(X+Y)] = Var[X] + Var[Y] \nonumber \\ 
 +\end{eqnarray} 
 + 
 +마찬가지로 
 +\begin{eqnarray} 
 +Var[(X-Y)] & = & Var[X] - 2 Cov[X,Y] + Var[Y] \nonumber \\ 
 +& = & Var[X] + Var[Y] \nonumber  
 +\end{eqnarray} 
  
  
Line 153: Line 167:
 보통 X1, X2 집합은 같은 특성을 (statistic) 갖는 두 독립적인 집합을 의미하므로 보통 X1, X2 집합은 같은 특성을 (statistic) 갖는 두 독립적인 집합을 의미하므로
 \begin{align*} \begin{align*}
-Var(X1 + X2)  = Var(X1) + Var(X2)  \\+Var(X1 + X2) = & Var(X1) + Var(X2)  \\ 
 + & \text{because X1 and x2 have} \\ 
 + & \text{X's statistics (the same mean} \\ 
 + & \text{and variance of X)} \\ 
 + 
 += & Var(X) + Var(X) \\  
 += & 2 * Var(X) \\
 \end{align*} \end{align*}
  
-X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻. 반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).+X1, X2는 같은 분포를 갖는 서로 독립적인 집합이고 (가령 각 집합은 n=10000이고 mean=0, var=4의 특성을 갖는) 이 때의 두 집합을 합한 집합의 Variance는 각 Variance를 더한 값과 같다는 뜻.  
 + 
 +반면에 아래는 동일한 집합을 선형적인 관계로 옮긴 것 (X to 2X).
  
 \begin{align} \begin{align}
Line 173: Line 195:
 & \;\;\;\;\; \text{according to the below } \ref{cov.xx}, \\ & \;\;\;\;\; \text{according to the below } \ref{cov.xx}, \\
 & \;\;\;\;\; Cov(X,X) = Var(X) \\  & \;\;\;\;\; Cov(X,X) = Var(X) \\ 
-& = Var(X) + 2 Var(X) + Var(X)   \\+& = Var(X) + 2 Var(X) + Var(X) \;\;\; \\
 & = 4 Var(X)  & = 4 Var(X) 
 \end{align*} \end{align*}
Line 188: Line 210:
 # variance theorem 4-1, 4-2 # variance theorem 4-1, 4-2
 # http://commres.net/wiki/variance_theorem # http://commres.net/wiki/variance_theorem
 +
 # need a function, rnorm2 # need a function, rnorm2
-rnorm2 <- function(n,mean,sd) { mean+sd*scale(rnorm(n)) }+rnorm2 <- function(n,mean,sd) {  
 +    mean+sd*scale(rnorm(n))  
 +}
  
-m <- 0 +m <- 50   
-v <- 1 +v <- 4 
-n <- 10000+n <- 100000
 set.seed(1) set.seed(1)
 x1 <- rnorm2(n, m, sqrt(v)) x1 <- rnorm2(n, m, sqrt(v))
Line 199: Line 224:
 x3 <- rnorm2(n, m, sqrt(v)) x3 <- rnorm2(n, m, sqrt(v))
  
-m.x1 <- mean(x1) +# Note: x1, x2, x3는 평균과 표준편차를 
-m.x2 <- mean(x2) +# 같은 값으로 갖는 (공유하는) 독립적인  
-m.x3 <- mean(x3) +# 집단
-m.x1 +
-m.x2 +
-m.x3+
  
-v.x1 <- var(x1) +y1 <- 3*x1 +5  
-v.x2 <- var(x2) +exp.y1 <- mean(y1)  
-v.x3 <- var(x3) +exp.3xplus5 <- 3 * mean(x1) + 5 
-v.x1 +exp.y1 
-v.x2 +exp.3xplus5 
-v.x3+ 
 +var(x1)  
 +var((3*x1)+5) 
 +3^2 * var(x1) 
 +var(y1)  # 9 * var(x) 위와 동일
  
 v.12 <- var(x1 + x2) v.12 <- var(x1 + x2)
 v.12 v.12
 +
 ###################################### ######################################
 ## v.12 should be near var(x1)+var(x2) ## v.12 should be near var(x1)+var(x2)
 ###################################### ######################################
-## 정확히 2*v가 아닌 이유는 x1, x2가  +# 정확히 2*v가 아닌 이유는 x1, x2가  
-## 아주 약간은 (random하게) dependent하기 때문  +# 아주 약간은 (random하게) dependent하기 때문  
-##(혹은 상관관계가 있기 때문) +# (혹은 상관관계가 있기 때문, covariance가  
-## theorem 5-1 에서  +# 있기 때문) 
-## var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))+# theorem 5-1 에서  
 +# var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
  
 cov.x1x2 <- cov(x1,x2) cov.x1x2 <- cov(x1,x2)
Line 240: Line 268:
 v.11 <- var(x1 + x1)  v.11 <- var(x1 + x1) 
 # var(2*x1) = 2^2 var(X1) # var(2*x1) = 2^2 var(X1)
 +2^2*var(x1)
 v.11 v.11
  
 </code> </code>
  
 +<code>
 +> # variance theorem 4-1, 4-2
 +> # http://commres.net/wiki/variance_theorem
 +> 
 +> # need a function, rnorm2
 +> rnorm2 <- function(n,mean,sd) { 
 ++     mean+sd*scale(rnorm(n)) 
 ++ }
 +> 
 +> m <- 50  
 +> v <- 4
 +> n <- 100000
 +> set.seed(1)
 +> x1 <- rnorm2(n, m, sqrt(v))
 +> x2 <- rnorm2(n, m, sqrt(v))
 +> x3 <- rnorm2(n, m, sqrt(v))
 +> 
 +> # Note: x1, x2, x3는 평균과 표준편차를
 +> # 같은 값으로 갖는 (공유하는) 독립적인 
 +> # 집단
 +> 
 +> y1 <- 3*x1 +5 
 +> exp.y1 <- mean(y1) 
 +> exp.3xplus5 <- 3 * mean(x1) + 5
 +> exp.y1
 +[1] 155
 +> exp.3xplus5
 +[1] 155
 +> 
 +> var(x1) 
 +     [,1]
 +[1,]    4
 +> var((3*x1)+5)
 +     [,1]
 +[1,]   36
 +> 3^2 * var(x1)
 +     [,1]
 +[1,]   36
 +> var(y1)  # 9 * var(x) 위와 동일
 +     [,1]
 +[1,]   36
 +> 
 +> v.12 <- var(x1 + x2)
 +> v.12
 +         [,1]
 +[1,] 7.974862
 +> 
 +> ######################################
 +> ## v.12 should be near var(x1)+var(x2)
 +> ######################################
 +> # 정확히 2*v가 아닌 이유는 x1, x2가 
 +> # 아주 약간은 (random하게) dependent하기 때문 
 +> # (혹은 상관관계가 있기 때문, covariance가 
 +> # 있기 때문)
 +> # theorem 5-1 에서 
 +> # var(x1+x2) = var(x1)+var(x2)+ (2*cov(x1,x2))
 +> 
 +> cov.x1x2 <- cov(x1,x2)
 +> cov.x1x2
 +            [,1]
 +[1,] -0.01256899
 +> 
 +> var(x1 + x2)
 +         [,1]
 +[1,] 7.974862
 +> var(x1) + var(x2) + (2*cov.x1x2)
 +         [,1]
 +[1,] 7.974862
 +> 
 +> # theorem 5-2 도 확인
 +> var(x1 - x2)
 +         [,1]
 +[1,] 8.025138
 +> var(x1) + var(x2) - (2 * cov.x1x2)
 +         [,1]
 +[1,] 8.025138
 +> 
 +> # only when x1, x2 are independent (orthogonal)
 +> # var(x1+x2) == var(x1) + var(x2)
 +> ########################################
 +> 
 +> ## 그리고 동일한 (독립적이지 않은) 집합 X1에 대해서는
 +> v.11 <- var(x1 + x1) 
 +> # var(2*x1) = 2^2 var(X1)
 +> 2^2*var(x1)
 +     [,1]
 +[1,]   16
 +> v.11
 +     [,1]
 +[1,]   16
 +> 
 +> v.111 <- var(x1 + x1 + x1)
 +> v.111
 +     [,1]
 +[1,]   36
 +> var(3*x1)
 +     [,1]
 +[1,]   36
 +> 3^2*var(x1)
 +     [,1]
 +[1,]   36
 +> 
 +
 +</code>
  
-  
expected_value_and_variance_properties.1696390956.txt.gz · Last modified: by hkimscil
Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki