The best replacement for gradient descent is hill climbing.

Лучшие альтернативы к gradient descent можно упорядочить следующим образом:
★★★★★  hill climbing
★★★★  newton method
★★★★  least squares
★★★  stochastic gradient descent
★★  genetic algorithm
★★  simulated annealing
★  backpropagation
★  normal equation
★  batch

Ваша альтернатива к gradient descent не упомянута? Предложите!


Пока тут не было идей о компаньонах к gradient descent.
Вам известен компаньон к gradient descent и он пока не упомянут тут? Предлагайте!



Google Trends

Scale is based on the average worldwide traffic of gradient descent in all years. Click on graph for more.
gradient descent
hill climbing
newton method