11. diel - Neurónové siete - Porovnanie algoritmov gradientného zostupu

V minulej lekcii, Neurónové siete - Gradientný zostup a jeho súrodenci , sme si ujasnili rozdiely medzi batch, minibatch a stochastic gradient descent algoritmom.

V tejto lekcii tutoriálu Neurónovej siete - Pokročilé si porovnáme algoritmy batch, minibatch a stochastic gradient descent, ktorým sme sa podrobne venovali minule.

Než sa ale pustíme do ich vyhodnotenia, vytvoríme si pomocnú triedu TimeMeasure. Trieda nám poslúži na meranie doby vykonávania jednotlivých krokov:

class TimeMeasure:
    def __init__(self, label = ''):
        self._label = label
    def __enter__(self):
        self._starttime = timeit.default_timer()
        return self
    def __exit__(self, *args):
        end = timeit.default_timer()
        print(f"{self._label}{end - self._starttime:.3f}s")

Teraz si vyskúšame rôzne nastavenia a uvidíme, ako sa budú gradient a loss funkcie vyvíjať.

...koniec náhľadu článku...
Pokračuj ďalej