Función de pérdida de Hinge

La función de pérdida de Hinge es una herramienta que se utiliza en aprendizaje automático (Machine Learning en inglés) para modelos de clasificación. Una función de pérdida muestra la diferencia entre el valor que se predijo y el real. Principalmente se utiliza en máquinas de vectores de soporte, el cual es una forma de aprendizaje supervisado.

La forma matemática general para la función de pérdida es la siguiente: $L(y)=\max (0,1-ty)$

Para el margen suave, se ve de la siguiente manera: $L(y)=\max (0,1-y_i({𝐰}^T{𝐱}_i-b))$ En donde w y b son los parámetros del hiperplano con w siendo el vector normal al hiperplano y $\frac{b}{||w||}$ la distancia perpendicular del hiperplano al origen.

Optimización

El objetivo es optimizar la siguiente función:

$\lambda ||𝐰|{|}^2+\left[\frac{1}{n}\sum _{i=1}^n\max (0,1-y_i({𝐰}^T{𝐱}_i-b))\right]$ con $\lambda >0$ Como la función es no diferenciable, Jason Rennie y Nathan Srebro proponen una función suavizada de la pérdida de Hinge para minimizar con mayor facilidad. Esta función está definida de la siguiente manera:

$h(y)=\{\begin{array}{c}0sity\ge 1\\ \frac{(1-ty{)}^2}{2}si0<ty<1\\ \frac{1}{2}-tysity\le 0\end{array}$