20. diel - Neurónové siete – Dense vrstva a optimalizátory
V minulej lekcii, Neurónové siete – Softmax a refaktoring , sme sa zoznámili s funkciou Softmax a vykonali ďalší refaktoring.
V tejto lekcii tutoriálu Neurónovej siete - Pokročilé sa zameriame na dense vrstvu a optimizéry.
Dense vrstva
Nadišiel čas, aby sme sa venovali našej poslednej vrstve. Pripomeňme si, že logistická regresia mala vektor váh w, ktorý bol vynásobený vektorom x obsahujúcim atribúty jedného príkladu (alebo maticou v prípade batch príkladov). Pre prístup one-vs-rest sme mali niekoľko logistických regresií. Keď sme potom spracovávali príklady z dátovej sady, museli sme ich odovzdať každému neurónu. Ako sa ukázalo, môžeme spojiť váhy všetkých neurónov dohromady do matice váh: ?. Okrem toho môžeme pridať bias explicitne a zbaviť sa dodatočnej 1, ktorú sme dopĺňali ku každému príkladu. V dôsledku toho môžeme celú logistickú regresiu pre viac tried vyjadriť nasledujúcim vzorcom:
CrossEntropy(softmax(??+?))
Vrstva, ktorá je zodpovedná za lineárnu kombináciu (??+?), sa nazýva denso vrstva, alebo tiež fully-connected vrstva. Práve na ňu sa teraz zameriame. Zostávajúce prvky vrstvy ako softmax a cross entropy už máme z minulých lekcií.
...koniec náhľadu článku...
Pokračuj ďalej
Minul si až sem a to je super! Veríme, že ti prvé lekcie ukázali niečo nového a užitočného.
Chceš v kurze pokračovať? Prejdi do prémiové sekcie.
Kúpiť tento kurz
Pred kúpou tohto článku je potrebné kúpiť predchádzajúci diel
Obsah článku spadá pod licenciu Premium, kúpou článku súhlasíš so zmluvnými podmienkami.
- Neobmedzený a trvalý prístup k jednotlivým lekciím.
- Kvalitné znalosti v oblasti IT.
- Zručnosti, ktoré ti pomôžu získať vysnívanú a dobre platenú prácu.
Popis článku
Požadovaný článok má nasledujúci obsah:
V tomto tutoriále Pythonu pre pokročilých preberieme dense vrstvu a optimizéry. Tieto znalosti budeme potrebovať pre našu prvú neurónovú sieť.
Kredity získaš, keď podporíš našu sieť. To môžeš urobiť buď zaslaním symbolickej sumy na podporu prevádzky alebo pridaním obsahu na sieť.
