DevDiana

안녕하세요, 오늘은 경사하강법을 구하는데 있어 기초가 되는 역전파에 대해 알아보도록 하겠습니다.이 글 또한 3Blue1Brown의 백프로파게이션(BackPropagation) 개념적으로 이해하기를 기반으로 하고 있으며 수식의 경우 신박AI의 역전파 알고리즘 을 참고하였습니다. 시작해보겠습니다. ✅ 역전파(Back Propagation) 알고리즘이란?우선 직전에 알아본 경사하강법(Gradient Descent)을 복습해보면, 경사하강법은 비용함수(Cost Function)를 최소화하는 가중치(Weight)와 Bias 값을 찾아가는 과정입니다. 그런데 여기서 한 가지 문제가 있습니다. 경사하강법을 쓰려면 매 스텝마다 비용함수의 기울기(Gradient), 즉 "각 가중치를 조금 움직였을 때 Cost가 얼마나..

안녕하세요 Diana 입니다.오늘은 경사하강법(Gradient Descent)에 대해 알아보려고 합니다.이 글은 역시나 3Blue1Brown의 AI가 궁금하다면 봐야할 기초영상 경사하강법을 기반으로 하고 있으며 깊은 내용이 아닌 기초적인 내용을 다루고 있습니다.영상을 기반으로 학습 후 작성하는 내용이므로 틀린 부분이 있을 수 있음을 미리 알려드립니다. 그럼 시작하겠습니다. 우리는 이전 영상에서 인공신경망에 대해 알아봤습니다. 인공신경망은 인간의 신경망을 본따 만들어진 것으로 인간의 학습방식을 고려하여 제공된 Input 데이터가 무엇인지를 알아내기 위한 과정을 의미합니다. 우리는 하나의 이미지, 즉 784개의 픽셀을 Input 데이터로 활용하며 각각의 Layer에서 Activation 값에 Weigh..