ESN (Echo State Network) es un modelo de red propuesto por Herbert Jaeger en el artículo titulado “The echo state approach to analysing and training recurrent neural networks-with an erratum note”, del 2.001. Son una generalización de las RNR que surgieron de la necesidad de algoritmos de entrenamiento más simples y eficientes.
La capa de depósito (oculta en otras redes) es el corazón de la red y tiene abundantes conexiones recurrentes formadas por neuronas sigmoidales o tanh, estas conexiones se generan aleatoriamente y cada conexión también tiene un peso aleatorio. Una vez generados los pesos aleatorios, nunca cambian durante las fases de entrenamiento o prueba de la red. También establece que la información presentada en el depósito se olvida de forma asimétrica, de modo que eventualmente cualquier información concerniente a las condiciones iniciales se “borra”.
Las características que la diferencian de otras redes son:
- Las matrices recurrentes y de entrada son fijas y no aprendidas.
- El número de neuronas ocultas suele ser mucho mayor que en las de RNR estándar.
- Las unidades de salida, también llamadas unidades de lectura, son un ESN lineal. Dado el gran número de neuronas ocultas, la matriz de peso de salida o de lectura también es muy grande. Las unidades de salida permiten que la matriz de ponderación de salida se aprenda de manera muy eficiente.
- El aprendizaje de los parámetros (la matriz de salida) es mucho más simple que para otras RNR.
El aprendizaje de los parámetros se puede realizar a través del entrenamiento por lotes, facilitando la implementación paralela.