MIST RNN

Mixed History Recurrent Neural Networks, es una proposición de mejora de NARX realizada por Robert DiPietro, Christian Rupprecht, Nassir Navab y Gregory D. Hager en 2.017 y defendido en la conferencia ICLR (Conference on Learning Representations) de este año (2.018). Aseguran que el modelo propuesto, Mist RNNs:

  • Tiene propiedades superiores de gradiente de fuga en comparación a LSTM y NARX
  • Mejora el rendimiento sustancialmente sobre LSTM en tareas que requieren dependencias a largo plazo.
  • Necesita menos parámetros y es más eficiente en computación, necesita menos de LSTM para un número fijo de unidades ocultas.

Resumen de algunos datos de su publicación:

 

Modelo Neuronas ocultas Tasa de aprendizaje óptima Ratio de error
Clasificación secuencial de la base de datos MNIST
Simple RNNs 198 -2.27 ± 0.10 12.9 ± 0.8
LSTM 100 -1.11 ± 0.11 10.4 ± 0.7
Clockwork RNNs 256 -1.91 ± 0.23 15.7 ± 1.2
MIST RNNs 139 -1.35 ± 0.08 5.5 ± 0.2
Almacenar y reproducir información del pasado
LSTM (DiPietro ) 1024 12.2 ± 2.7
Simple RNNs 1024 38.0 ± 6.2
LSTM 1024 13.9 ± 3.0
Clockwork RNNs 1024 22.5 ± 5.0
MIST RNNs 1024 14.1 ± 3.9
Reconocimiento de fonemas
Simple RNNs 197 -1.09 ± 0.25 34.1 ± 0.3
LSTM 100 -0.63 ± 0.06 32.1 ± 0.2
Clockwork RNNs 248 -1.03 ± 0.31 38.2 ± 0.4
MIST RNNs 139 -0.91 ± 0.16 32.0 ± 0.3
Clasificación de la base de datos MobiAct
Simple RNNs 203 -1.91 ± 0.18 49.2 ± 2.7
LSTM 100 -0.89 ± 0.12 38.8 ± 1.5
Clockwork RNNs 256 -1.09 ± 0.31 40.3 ± 4.8
MIST RNNs 141 -1.39 ± 0.21 29.0 ± 5.2