Kunstigt neuralt netværk | en slags computersoftware, inspireret af biologiske neuroner

Oversigt

Et neuralt netværk modellerer et netværk af neuroner, som dem i den menneskelige hjerne. Hver neuron udfører enkle matematiske operationer: den modtager data fra andre neuroner, ændrer dem og sender dem til andre neuroner. Neuroner er placeret i "lag": en neuron fra et lag modtager data fra neuroner i andre lag, ændrer dem og sender data til neuroner i andre lag. Et neuralt netværk består af et eller flere lag.

Det første lag kaldes "inputlaget" og modtager data fra omverdenen (f.eks. et billede eller tekst). Det sidste lag kaldes "udgangslaget". Dataene fra neuronerne i outputlaget læses og bruges som netværkets output. De andre lag kaldes de "skjulte lag".

I et simpelt "feed-forward"-netværk er de data, der behandles af neuronerne, tal. Hver neuron foretager en vægtet sum af værdien af neuronerne i det foregående lag ( X i {\displaystyle X_{i}} i nedenstående ligning). Derefter lægges der en konstant værdi (kaldet "bias") til. Endelig anvender det en matematisk funktion på denne værdi, kaldet "aktiveringsfunktionen". Aktiveringsfunktionen er normalt en funktion, der returnerer en værdi mellem 0 og 1, som f.eks. tanh. Resultatet af aktiveringsfunktionen ( Y j {\displaystyle Y_{j}}} i nedenstående ligning) sendes derefter til neuronerne i det næste lag.

Y j = A k t i v a t i o n ( ∑ i ∈ I n p u t s W e i g h t ( i , j ) ∗ X i + B i a s ( j ) ) {\displaystyle Y_{j}=Aktivering(\sum _{i\;\i\;\in \;Inputs}{Vægt(i,j)}*X_{i}+Bias(j))}

Der defineres en tabsfunktion for netværket. Tabsfunktionen forsøger at vurdere, hvor godt det neurale netværk klarer den tildelte opgave. Endelig anvendes en optimeringsteknik til at minimere udfaldet af omkostningsfunktionen ved at ændre netværksvægtene og biaserne i netværket. Denne proces kaldes træning. Træning foregår et lille skridt ad gangen. Efter tusindvis af trin er netværket typisk i stand til at udføre sin tildelte opgave ret godt.

Eksempel

Overvej et program, der kontrollerer, om en person er i live. Det kontrollerer to ting - pulsen og åndedrættet. Hvis en person enten har en puls eller trækker vejret, vil programmet udgive "levende", ellers vil det udgive "død". I et program, der ikke lærer over tid, ville dette blive skrevet som:

Et meget simpelt neuralt netværk, der kun består af én neuron, og som løser det samme problem, ser således ud:

Værdierne for puls, vejrtrækning og levende vil være enten 0 eller 1, hvilket repræsenterer falsk og sandt. Hvis denne neuron får værdierne (0,1), (1,0) eller (1,1), skal den altså udstede 1, og hvis den får (0,0), skal den udstede 0. Neuronen gør dette ved at anvende en simpel matematisk operation på input - den lægger de værdier, den har fået, sammen og tilføjer derefter sin egen skjulte værdi, som kaldes en "bias". Til at begynde med er denne skjulte værdi tilfældig, og vi justerer den med tiden, hvis neuronet ikke giver os det ønskede output.

Hvis vi lægger værdier som (1,1) sammen, kan vi få tal større end 1, men vi ønsker, at vores output skal ligge mellem 0 og 1! For at løse dette kan vi anvende en funktion, som begrænser vores faktiske output til 0 eller 1, selv om resultatet af neuronets matematik ikke lå inden for intervallet. I mere komplicerede neurale netværk anvender vi en funktion (f.eks. sigmoid) på neuronet, så dets værdi bliver mellem 0 eller 1 (f.eks. 0,66), og derefter sender vi denne værdi videre til det næste neuron hele vejen, indtil vi har brug for vores output.

Indlæringsmetoder

Der er tre måder, hvorpå et neuralt netværk kan lære: overvåget læring, uovervåget læring og forstærkende læring. Disse metoder fungerer alle ved enten at minimere eller maksimere en omkostningsfunktion, men de er hver især bedre til bestemte opgaver.

For nylig brugte et forskerhold fra University of Hertfordshire i Storbritannien forstærkende læring til at få en iCub humanoid robot til at lære at sige enkle ord ved at pludre.