ESN

Herbert Jaeger
Jaeger

ESN (Echo State Network) es un modelo de red propuesto por Herbert Jaeger en el artículo titulado “The echo state approach to analysing and training recurrent neural networks-with an erratum note”, del 2.001. Son una generalización de las RNR que surgieron de la necesidad de algoritmos de entrenamiento más simples y eficientes.

La capa de depósito (oculta en otras redes) es el corazón de la red y tiene abundantes conexiones recurrentes formadas por neuronas sigmoidales o tanh, estas conexiones se generan aleatoriamente y cada conexión también tiene un peso aleatorio. Una vez generados los pesos aleatorios, nunca cambian durante las fases de entrenamiento o prueba de la red. También establece que la información presentada en el depósito se olvida de forma asimétrica, de modo que eventualmente cualquier información concerniente a las condiciones iniciales se “borra”.

 

 

ESN (Echo State Network)
ESN (Echo State Network)

 

Las características que la diferencian de otras redes son:

  • Las matrices recurrentes y de entrada son fijas y no aprendidas.
  • El número de neuronas ocultas suele ser mucho mayor que en las de RNR estándar.
  • Las unidades de salida, también llamadas unidades de lectura, son un ESN lineal. Dado el gran número de neuronas ocultas, la matriz de peso de salida o de lectura también es muy grande. Las unidades de salida permiten que la matriz de ponderación de salida se aprenda de manera muy eficiente.
  • El aprendizaje de los parámetros (la matriz de salida) es mucho más simple que para otras RNR.

El aprendizaje de los parámetros se puede realizar a través del entrenamiento por lotes, facilitando la implementación paralela.