스토카틱 그라데이션 하강은 훨씬 더 높은 변동을 가지므로 글로벌 최소 치를 찾을 수 있습니다. 샘플이 단일 그룹또는 학습 세트에 나타나는 것이 아니라 무작위로 섞이기 때문에 «스토카스틱»이라고 합니다. 속도가 느려보일 수 있지만 모든 데이터를 메모리에 로드하고 데이터가 모두 함께 실행되는 동안 기다릴 필요가 없기 때문에 실제로 더 빠릅니다. 배치 그라데이션 하강의 주요 장점은 결정적 알고리즘이라는 것입니다. 즉, 동일한 시작 가중치가 있는 경우 네트워크를 실행할 때마다 동일한 결과를 얻을 수 있습니다. 스토카틱 그라데이션 하강은 항상 무작위로 작동합니다. (여러 행을 설정하고 한 번에 여러 행을 실행한 다음 가중치를 업데이트하는 미니 배치 그라데이션 하강을 실행할 수도 있습니다.) NN을 생각하는 좋은 방법은 복합 함수입니다. 당신은 그것을 몇 가지 입력을 제공하고 당신에게 약간의 출력을 제공합니다. 그것은 말 그대로 인공 신경망입니다. 대부분의 최신 딥 러닝 아키텍처는 인공 신경망(AN)을 기반으로 합니다. 피쳐 추출 및 변환을 위해 많은 비선형 처리 장치 레이어를 사용합니다. 각 연속 된 레이어는 입력에 대 한 이전 레이어의 출력을 사용 합니다. 그들이 배우는 것은 개념의 계층 구조를 형성한다.

이 계층 구조에서 각 수준은 입력 데이터를 보다 추상적이고 복합적인 표현으로 변환하는 방법을 배웁니다. 일반 그라데이션 하강은 전역 최소값이 아닌 로컬 최소값으로 고정되어 하위 네트워크가 생성됩니다. 정상적인 그라데이션 하강에서 모든 행을 동일한 신경망에 연결하고 가중치를 살펴본 다음 조정합니다. 이를 일괄 그라데이션 하강이라고 합니다. 검색 된 그라데이션 하강에서 행을 하나씩 가져 와서 신경망을 실행하고 비용 함수를 보고 가중치를 조정한 다음 다음 행으로 이동합니다. 기본적으로 각 행의 가중치를 조정합니다. 그거에요! 이제 인공 신경망에서 일어나는 일의 기본 아이디어를 알 수 있습니다! 뉴런에 대한 입력은 트레이닝 세트의 피처이거나 이전 레이어의 뉴런의 출력일 수 있습니다. 2개의 뉴런 사이 각 연결에는 붙어 있는 유일한 무게를 가진 유일한 시냅스가 있습니다. 한 뉴런에서 다음 뉴런으로 이동하려면 시냅스를 따라 여행하고 «통행료»(무게)를 지불해야합니다. 뉴런은 각 수신 시냅스에서 가중 입력의 합계에 활성화 기능을 적용합니다. 다음 레이어의 모든 뉴런에 결과를 전달합니다. 네트워크에서 가중치 를 업데이트하는 방법에 대해 이야기할 때 이러한 시냅스의 가중치를 조정하는 방법에 대해 이야기합니다.

피드백 네트워크(예: 반복 신경망)에는 피드백 경로가 있습니다.