Perceptrón - Enciclopedia España

l para los significados alternos considera el perceptrón (desambiguación) . El perceptrón es un tipo de la red de los nervios artificial inventada en el 1957 en el laboratorio aeronáutico de Cornell por el Frank Rosenblatt . Puede ser visto como la clase más simple de la red de los nervios del feedforward: un clasificador linear .

Definición

El perceptrón es una clase de clasificador binario que trace su entrada

x

(un vector binario ) a un

f del valor de la salida (x)

(un solo valor binario) calculado como

$f (x) = \ comienzan {casos} 1 y \ texto {si} w \ cdot x + b > 0 \ \ 0 y \ texto {otro} \ extremo {casos}$

donde está un vector $w$ de pesos y del $w \ del cdot con valores reales x$ es el producto de punto (que computa una suma cargada). $b$ es el “diagonal”, un término constante que no dependa de ninguÌn valor de la entrada.

El valor del $f (x)$ (0 o 1) se utiliza para clasificar $x$ como caso positivo o negativo, en el caso de un problema binario de la clasificación. El diagonal se puede pensar en como compensación de la función de la activación, o el donante la neurona de la salida de un " base" nivel de actividad. Si $b$ es negativo, después la combinación cargada de entradas debe producir un valor positivo mayor que $-b$ para empujar la neurona del clasificador sobre los 0 umbrales. Espacial, el diagonal altera la posición (sin embargo no la orientación) del límite de la decisión.

Puesto que las entradas se alimentan directo a la unidad de salida vía las conexiones cargadas, el perceptrón se puede considerar la clase más simple de red de los nervios del feed-forward.

Algoritmo de aprendizaje

El algoritmo de aprendizaje es igual a través de todas las neuronas, por lo tanto todo que sigue se aplica a una sola neurona en el aislamiento. Primero definimos algunas variables:

x (j)

denota el artículo del j-th en el vector de la entrada

w (j)

denota el artículo del j-th en el vector del peso

y

denota la salida de la neurona
el

\ delta

denota la salida prevista
el

\ alpha

es un constante y un

0 < \ alfa < 1

Los pesos son actualizados después de cada entrada según la regla de la actualización abajo: ¡ $w del (j) '= w (j) + \ alfa (\ delta-y) x (j) \,$

Por lo tanto, el aprendizaje se modela como el vector del peso que es actualizado después de una iteración, que ocurrirá solamente si la salida $y$ es diferente del $deseado \ delta$ de la salida. Todavía en vista de una sola neurona pero de intentar incorporar iteraciones múltiples, dejarnos primero definen más variables:
el

$x_i$ denota el vector de la entrada para la iteración del yo-th
$w_i$ denota el vector del peso para la iteración del yo-th
$y_i$ denota la salida para la iteración del yo-th
= \ {del $D_m (x_1, y_1), \ puntea, (x_m,) \} del y_m$ denota un sistema del entrenamiento de iteraciones de $m$

¡y_i:

$y_i=1$ para las iteraciones positivas
$y_i=-1$ para la negativa unas. --> Cada iteración el vector del peso es como sigue

actualizado del

(x, y)

D_m = \ {(x_1, y_1), \ puntea, (x_m,) \} del y_m

(x_i, y_i, w_i)

w de la regla de la actualización (j) '= w (j) + \ alfa (\ delta-y) x (j)

¡simple en el cual los ejemplos se presenten iterativo y ocurren las correcciones a los vectores del peso se hacen cada vez un error (aprendiendo por ejemplos). Cuando error ocurre, peso vector es corregido como sigue

w_ {k+1} \ leftarrow w_k+ \ x_i

del eta \ del y_i y término diagonal está corregido como sigue

b_ {k+1} \ leftarrow b_k+ \ eta \ y_i R^2

, siendo

\ eta \

una tarifa de aprendizaje (que se puede demostrar para ser inaplicable) y

R

la norma máxima de un vector de la entrada. --> El entrenamiento

D_m

determinado reputa el linear separable si existe un

\ una gamma constante positiva

y un vector

w

del peso tales que el

+b \ derecho) > \ gamma

para todo el

i

. Novikoff (1962) probó que el algoritmo del perceptrón converge después de un número finito de iteraciones si El conjunto de datos es linear separable y el número de errores es limitado por el

\ dejó (\ frac {2R} {\ gamma} \ derecho) ^2

Sin embargo, si el sistema del entrenamiento no es el linear separable, el algoritmo en línea antedicho no se garantiza para converger.

Variantes

El algoritmo pocket con el trinquete (Gallant, 1990) soluciona el problema de la estabilidad del perceptrón que aprende guardando hasta ahora el " considerado la mejor solución; en su pocket". El algoritmo pocket entonces vuelve la solución en el bolsillo, algo que la solución pasada.

El $\ alpha$ -perceptron fomenta utilizó una capa del proceso previo de pesos al azar fijos, con las unidades de salida thresholded. Esto permitió al perceptrón clasificar patrones análogos, proyectándolos en un espacio binario . De hecho, para un espacio de la proyección de la dimensión suficientemente alta, los patrones pueden llegar a ser linear separables.

Como ejemplo, considerar el caso de tener que clasificar datos en dos clases. Aquí está un pequeño tal conjunto de datos, consistiendo en dos puntos que vienen a partir de dos distribuciones gausianas .

Un clasificador linear puede separar solamente cosas con un hiperplano, así que no es posible clasificar perfectamente todos los ejemplos. Por una parte, podemos proyectar los datos en una gran cantidad de dimensiones. En este caso una matriz al azar fue utilizada para proyectar los datos linear a un espacio dimensional 1000; entonces cada punto de referencias resultante fue transformado con la función hiperbólica de la tangente. Un clasificador linear puede entonces separar los datos, según las indicaciones de la tercera figura. No obstante los datos pueden sin embargo no ser totalmente separables en este espacio, en el cual el algoritmo del perceptrón no convergería. En el ejemplo demostrado, la pendiente más escarpada estocástica del gradiente fue utilizada para adaptar los parámetros.

Además, agregando capas no lineares entre la entrada y la salida, una puede separar todos los datos y de hecho, con bastantes datos del entrenamiento, modela cualquier función bien definida a la precisión arbitraria. Este modelo es una generalización conocida como perceptrón de múltiples capas .

Debe ser tenido presente, sin embargo, que el mejor clasificador no es necesario el que clasifica todos los datos del entrenamiento perfectamente. De hecho, si teníamos el constreñimiento anterior que los datos vienen de distribuciones gausianas de la equi-variante, la separación linear en el espacio de la entrada es óptima.

Otros algoritmos del entrenamiento para los clasificadores lineares son posibles: ver, e., la máquina del vector de la ayuda y la regresión logística .

Ejemplo de la hoja de balance

Historia el del de

considera también: Historia de la inteligencia artificial, del invierno del AI y Frank Rosenblatt Aunque el perceptrón pareciera inicialmente prometedor, fue probado eventual que los perceptrones no se podrían entrenar para reconocer muchas clases de patrones. Esto llevó al campo de la investigación de la red de los nervios que se estancaba durante muchos años, antes de que fuera reconocido que una red de los nervios del feedforward con tres o más capas (también llamadas un el perceptrón de múltiples capas ) tenía capacidad de cálculo lejos mayor que perceptrones con una capa (también llamada un el perceptrón de una sola capa ) o dos. Los perceptrones de una sola capa son solamente capaces de aprender patrones separables linear ; en 1969 una monografía famosa titulada los perceptrones por el Marvin Minsky y el Seymour Papert demostró que era imposible que estas clases de red aprendan una función XOR . Conjeturaron (incorrectamente) que un resultado similar celebraría para un perceptrón con tres o más capas. Tres años más adelante de Stephen Grossberg publicaron una serie de papeles que introducían las redes capaces de modelar diferencial, del poner en contraste-aumento y de funciones de XOR. (Los papeles fueron publicados en 1972 y 1973, ve e.: Realce de Grossberg, del contorno, memoria a corto plazo, y constancies en la reverberación de redes de los nervios. Estudios en matemáticas aplicadas, 52 (1973), 213-257, en línea). Sin embargo el texto a menudo-citado de Minsky/Papert causó una declinación significativa en interés y la financiación de la investigación de la red de los nervios. Tardó diez más años hasta el que la investigación de la red de los nervios experimentó un resurgimiento en los años 80. Este texto fue reimpreso en 1987 como " Perceptrones - Edition" ampliado; donde algunos errores en el texto original se demuestran y se corrigen.

Más recientemente, el interés en el algoritmo de aprendizaje del perceptrón ha aumentado otra vez después de que Freund y Schapire (1998) presentaran una formulación votada del algoritmo original (que logra el margen grande) y sugirieran que uno puede aplicar el truco del núcleo a él. El núcleo-perceptrón no sólo puede manejar datos nonlinearly separables pero puede también ir más allá de vectores y clasificar los casos que tienen una representación emparentada (e. árboles, gráficos o secuencias).

Zenithic

Ghomara

Random links:

Statite | Meansville, Georgia | Bosque de Białowieża | Grupo de estudio de las matemáticas de la escuela | Monumento de la bandera nacional (la Argentina)

="http://pagead2.googlesyndication.com/pagead/show_ads.js">