Mixed History Recurrent Neural Networks, es una proposición de mejora de NARX realizada por Robert DiPietro, Christian Rupprecht, Nassir Navab y Gregory D. Hager en 2.017 y defendido en la conferencia ICLR (Conference on Learning Representations) de este año (2.018). Aseguran que el modelo propuesto, Mist RNNs:
- Tiene propiedades superiores de gradiente de fuga en comparación a LSTM y NARX
- Mejora el rendimiento sustancialmente sobre LSTM en tareas que requieren dependencias a largo plazo.
- Necesita menos parámetros y es más eficiente en computación, necesita menos de LSTM para un número fijo de unidades ocultas.
Resumen de algunos datos de su publicación:
| Modelo | Neuronas ocultas | Tasa de aprendizaje óptima | Ratio de error | |
| Clasificación secuencial de la base de datos MNIST | ||||
| Simple RNNs | 198 | -2.27 ± 0.10 | 12.9 ± 0.8 | |
| LSTM | 100 | -1.11 ± 0.11 | 10.4 ± 0.7 | |
| Clockwork RNNs | 256 | -1.91 ± 0.23 | 15.7 ± 1.2 | |
| MIST RNNs | 139 | -1.35 ± 0.08 | 5.5 ± 0.2 | |
| Almacenar y reproducir información del pasado | ||||
| LSTM (DiPietro ) | 1024 | 12.2 ± 2.7 | ||
| Simple RNNs | 1024 | 38.0 ± 6.2 | ||
| LSTM | 1024 | 13.9 ± 3.0 | ||
| Clockwork RNNs | 1024 | 22.5 ± 5.0 | ||
| MIST RNNs | 1024 | 14.1 ± 3.9 | ||
| Reconocimiento de fonemas | ||||
| Simple RNNs | 197 | -1.09 ± 0.25 | 34.1 ± 0.3 | |
| LSTM | 100 | -0.63 ± 0.06 | 32.1 ± 0.2 | |
| Clockwork RNNs | 248 | -1.03 ± 0.31 | 38.2 ± 0.4 | |
| MIST RNNs | 139 | -0.91 ± 0.16 | 32.0 ± 0.3 | |
| Clasificación de la base de datos MobiAct | ||||
| Simple RNNs | 203 | -1.91 ± 0.18 | 49.2 ± 2.7 | |
| LSTM | 100 | -0.89 ± 0.12 | 38.8 ± 1.5 | |
| Clockwork RNNs | 256 | -1.09 ± 0.31 | 40.3 ± 4.8 | |
| MIST RNNs | 141 | -1.39 ± 0.21 | 29.0 ± 5.2 | |