Andre metoder

Der findes mange andre måder at lære et netværk på, end dem vi har fortalt om, faktisk bliver der ustandseligt udledet nye algoritmer der adskiller sig mere eller mindre fra de oprindelige. En af de vigtigste, og mest kendte, algoritmer er backpropagation algoritmen. Vi vil dog ikke gå for meget i detaljer, men bare fortælle om hvordan den virker.

Indtil nu har vi set på hvordan fejlen efter et netværk med én neuron i outputlaget ændrede på synapsestyrkerne. Det er dog ikke altid der kun er en neuron i outputlaget, og tit er der flere lag, hertil bruges backpropagation som bedre er kendt som BPEA (Back-propagation error algorithm).

Figur 1: Fejlen i et multilagsnetværk

Vi må derfor finde alle fejlene e_k. Idet outputlaget er tilpasset træningssættet, er der fra hvert output y_k også et output fra træningssættet d_k, disse kan sammenlignes, og fejlen e_k findes. Vi er nu i besiddelse af et fejlsignal for hver output i det neurale netværk, og kan finde den summerede fejl. Det gøres ganske simpelt ved at lægge fejlene sammen. Her kan der dog opstå et problem, idet nogle af fejlene kan være negative og andre positive, hvorved de vil ophæve hinanden som vi kan se i ligning 1

Ligning 1: Fejl i fejlsignalet

Her har vi taget vi summen af et positivt og et negativfejl signal fra 2 individuelle neuroner. Dette bevirker, at den summerede fejl bliver mindre end en af fejlene. Den summerede fejl bliver derfor misvisende.
En løsning vil være at summere den numeriske værdi |e_k|. Det er dog bedre at sætte fejlen i 2. potens, da større fejl bliver vægtet højere end små fejl.
Vi får hermed ligningen

Ligning 2: Fejlfunktion i BPEA

Her er der taget den halve sum. Det er af praktiske årsager da vi senere skal differentiere udtrykket.
Når NN trænes, er det træningsalgoritmens opgave at minimere det summerede output J. Dette sker ved at ændre den enkelte synapsestyrke w (w tilhører w_ji eller w_kj) med w (w tilhører w_ji eller w_kj). J kan derfor skrives som en funktion af w, J(w).
For at finde ud af hvad der skal ske med synapsestyrkerne, kan der ses på hvordan w opfører sig i forhold til den summerede kvadrerede fejl J (Figur 2). Det vil sige hvordan J(w) afhænger af den enkelte vægt w. Vi opstiller derfor differentialet i Ligning 3.

Ligning 3: J(n) partielt differentieret

Graf 1: J som funktion af w

Læringsraten der er vist på graf 1 er medbestemmende til hvor store skridt w(n) skal tage mod minimum. Det vil sige hvor stor en ændring der bliver tilført w(n), fra tiden n til tiden n+1. Hvilket også kan ses ud fra Ligning 4.

Ligning 4: Ændringen i synapsestyrken

Vi har nu i store træk defineret hvordan ændringen, der skal fortages på synapsestyrkerne kan findes. Vi kan nu tage problematikken op, hvordan vi så rent faktisk finder den. Hvis vi eksempelvis skal ind og finde ændringen på synapsestyrken, der på
Figur 1, er vist som den stiplede linie mellem lagene i og j. Skal vi kunne opstille et specifikt udtryk der beskriver den ændring der skal tilføres w_ji.

Fejlen for hver output e_k (k = 1, 2,...,p) bliver her, individuelt partielt differentieret i forhold til synapsestyrken w_ji. Hvorved hver fejl er medbestemmende til ændringen, der skal foretages på synapsestyrken w_ji. En enkelt fejls flow tilbage gennem netværket er på Figur 3 vist som en stiplet linie.

Her bliver fejlsignalet ført gennem hver operation i netvær-ket, der er vist som klammer i figuren. I hver klamme bliver signalet korrigeret ud fra differentialet af den pågældende operationen. Differentialet beskriver herved hvordan inputtet i operationen forholder sig til outputtet. Ved at multiplicere hver operations differentiale, bliver fejlen herved korrigeret til at beskrive, hvad indflydelse den pågældende synapsestyrke har på den pågældende fejl. Ses der specifikt på fejlen e₁, kan dens bidrag til w_ji findes vha. kædereglen på følgende måde. Se Ligning 6.