Logo da.boatexistence.com

Hvorfor stokastisk gradientnedstigning?

Indholdsfortegnelse:

Hvorfor stokastisk gradientnedstigning?
Hvorfor stokastisk gradientnedstigning?

Video: Hvorfor stokastisk gradientnedstigning?

Video: Hvorfor stokastisk gradientnedstigning?
Video: Varians, hvorfor vi kvadrerer | Statistikk - Diskret stokastisk variabel 2024, Kan
Anonim

Ifølge en senior dataforsker er en af de tydelige fordele ved at bruge Stokastisk Gradient Descent, at det udfører beregningerne hurtigere end gradientnedstigning og batchgradientnedstigning … Også på massive datasæt, stokastisk gradientnedstigning kan konvergere hurtigere, fordi den udfører opdateringer hyppigere.

Hvad bruges Stokastisk Gradient Descent til?

Stokastisk gradientnedstigning er en optimeringsalgoritme, der ofte bruges i maskinlæringsapplikationer til at finde de modelparametre, der svarer til den bedste pasform mellem forudsagte og faktiske output Det er en upræcis, men kraftfuld teknik. Stokastisk gradientnedstigning er meget brugt i maskinlæringsapplikationer.

Hvorfor skal vi bruge Stokastisk Gradient Descent i stedet for standardgradient-nedstigning til at træne et foldet neur alt netværk?

Stokastisk gradientnedstigning opdaterer parametrene for hver observation, hvilket fører til flere opdateringer. Så det er en hurtigere tilgang, som hjælper med hurtigere beslutningstagning. Hurtigere opdateringer i forskellige retninger kan ses i denne animation.

Hvorfor foretrækker vi gradientnedstigning?

Hovedårsagen til, at gradientnedstigning bruges til lineær regression, er beregningskompleksiteten: det er beregningsmæssigt billigere (hurtigere) at finde løsningen ved hjælp af gradientnedstigningen i nogle tilfælde. Her skal du beregne matrixen X′X og derefter invertere den (se note nedenfor). Det er et dyrt regnestykke.

Hvorfor bruges SGD?

Stokastisk gradientnedstigning (ofte forkortet SGD) er en iterativ metode til optimering af en objektiv funktion med passende glathedsegenskaber (f.eks. differentierbar eller subdifferentierbar).

Anbefalede: