see https://academicweb.nd.edu/~rwilliam/stats1/x91.pdf
$ \hat{Y} = a + b X $ 에서 b 에 대한 standard error 값을 말한다. 이 standard error는 샘플에서 구한 b값으로 모집단의 (population의) b값을 추정하는 데 쓰인다.
\begin{eqnarray*} \text{se}_{b} & = & \sqrt { \dfrac {\text{MSE}} {\text{ss(x)} } } \;\;, \text{ MSE } & = & \text{Mean Square Residuals (Errors)} \\ & = & \dfrac {s_{e}} {\sqrt{ss(x)} } \\ & = & \dfrac {s_{e}} {\Sigma{(x_{i}-\overline{x})^2}} \\ & = & \dfrac { \sqrt {\dfrac{ \Sigma{(y-\hat{y})^2} } {n-2} } } {\sqrt{\Sigma{(x_{i}-\overline{x})^2}} } \\ & = & \sqrt {\dfrac { \dfrac { \Sigma {(y-\hat {y})^2 } } {n-2} } { \Sigma{(x_{i}-\overline{x})^2} } } \\ \end{eqnarray*}

\begin{eqnarray*} \text{se}_{b_{k}} & = & \sqrt { \dfrac {\text{MSE}} {\text{ss(x)} } } \;\;, \;\;\; \text{where} \\ \text{ MSE } & = & \text{Mean Square Residuals (Errors)} \\ \end{eqnarray*}

일반적으로 아래와 같이 구한다.
\begin{eqnarray*} S_{b_{k}} & = & \frac {S_{e}} {\sqrt{(1-R_{X_{k}G_{k}}^2)*s_{X_{k}}^2 * (N-1)}} \dots\dots\dots\dots\dots \text{general case}\\ & = & \frac {S_{e}} {\sqrt{s_{X_{k}}^2 * (N-1)}} \dots\dots\dots\dots\dots \text{1 IV case} \\ \end{eqnarray*}

• $y : (n \times 1)$ 크기의 종속변수(실제값)
• $X : (n \times p)$ 크기의 독립변수(설명변수) 행렬
• $b : (p \times 1)$ 크기의 추정된 회귀 계수 벡터
• $e : (n \times 1)$ 크기의 잔차(오차) 벡터

\begin{eqnarray*} y & = & X b + e \\ e & = & y - X b \\ \\ S(b) & = & e'e \\ & = & (y - X b)'(y - X b) \\ & = & y'y - b' X' y - y' X b + 'b X' X b \\ & & b' X y = y' X b \\ & = & \underbrace{y'y}_{(1)} - \underbrace{2 b' X' y}_{(2)} + \underbrace{b' X' X b}_{(3)} \\ \\ \dfrac {\partial {S(b)} } {\partial{b} } & = & {(1)} - {(2)} + {(3)} \\ \dfrac {\partial {(y'y)} } {\partial{b} } & = & 0 \\ \dfrac {\partial {(2 b' X' y)} } {\partial{b} } & = & 2 b X' y \\ \dfrac {\partial {(b' X' X b)} } {\partial{b} } & = & (X'X) b + (X' X)' b\\ & = & b (X'X)(X'X)' \\ & = & 2 b (X'X) \because {X'X = (X'X)'} \\ \\ \dfrac {\partial {S(b)} } {\partial{b} } & = & 0 - 2 X' y + 2 X' X b \\ & & \text{in order for the above minimal value} \\ 0 & = & -2 X' y + 2 X' X b\\ X' X b & = & X' y \\ & & \text{hence, } \\ b & = & (X'X)^{-1} X'y \\ \end{eqnarray*}