Differences

This shows you the differences between two versions of the page.

--- gradient_descent [2025/08/21 15:53] – [How to unnormalize (unscale) a and b] hkimscil
+++ gradient_descent [2025/08/21 16:24] (current) – [Gradient descend] hkimscil
@@ Line 1: / Line 1: @@
 ====== Gradient Descent ======
-====== explanation ======
 ====== R code: Idea ======
 <code>
@@ Line 541: / Line 539: @@
 & = & -2 X_i \sum{(Y_i - (a + bX_i))} \\
 & = & -2 * X_i * \sum{\text{residual}} \\
-\\
+& .. & -2 * X_i * \frac{\sum{\text{residual}}}{n} \\
+& = & -2 * \overline{X_i * \text{residual}} \\
 \end{eqnarray*}
-(미분을 이해한다는 것을 전제로) 위의 식은 b값이 변할 때 msr (mean square residual) 값이 어떻게 변하는가를 알려주는 것이다. 그리고 그것은 b값에 대한 residual의 총합에 (-2/N)*X값을 곱한 값이다.
+위의 설명은 Sum of Square값을 미분하는 것을 전제로 하였지만, Mean Square 값을 (Sum of Square값을 N으로 나눈 것) 대용해서 이해할 수도 있다. 아래의 code는 (미분을 이해한다는 것을 전제로) b값과 a값이 변할 때 msr (mean square residual) 값이 어떻게 변하는가를 알려주는 것이다.
 <code>
@@ Line 1007: / Line 1007: @@
 & = & k + \frac{m * x}{\sigma} - \frac{m * \mu}{\sigma}  \\
 & = & k - \frac{m * \mu}{\sigma} + \frac{m * x}{\sigma}  \\
-& = & \underline{k - \frac{\mu}{\sigma} * m} + \underline{\frac{m}{\sigma}} * x \\
+& = & \underbrace{k - \frac{\mu}{\sigma} * m}_\text{ 1 } + \underbrace{\frac{m}{\sigma}}_\text{ 2 } * x \\
 & & \text{therefore, a and be that we try to get are } \\
 a & = & k - \frac{\mu}{\sigma} * m \\