La función de activación lineal también denominada de identidad tiene una salida de rango –∞ a +∞. Se la representa como: f (x) = x. Es una ecuación fácil de resolver, su adaptación a problemas complejos es limitada y tienen menos capacidad de aprender asociaciones complejas a partir de los datos de entrada. Para problemas de clasificación, calcular probabilidades o para un problema de regresión es la función más adecuada.
Tiene dos problemas principales:
- No es posible usar la propagación hacia atrás (BP) para entrenar el modelo. Matemáticamente la derivada de la función es una constante y no tiene relación con la entrada x. Esto implica que no es posible retroceder y entender qué pesos en las neuronas de entrada pueden proporcionar una mejor predicción.
- La función convierte la red en una de una sola capa. Todas las capas de la red se agrupan en una y como la última capa es una función lineal de la primera (una combinación lineal de funciones lineales es una función lineal), entonces es simplemente un modelo de regresión lineal.