La gráfica de complejidad de un modelo frente a la precisión es una de las temáticas abordadas en machine learning más importantes. En este artículo te explicaremos en qué consiste y dónde radica su gran relevancia en esta disciplina del Big Data.
Gráfica de complejidad de un modelo frente a la precisión
La gráfica que explicaremos, referente a la complejidad de un modelo frente a la precisión, es quizás lo más importante en los diferentes procesos llevados a cabo dentro del machine learning, ya que, al final, todo lo que se habla de modelos, de diferentes algoritmos, matrices de confusión y otras tantas cosas se va a reducir a buscar el denominado sweet spot.
En esta gráfica de complejidad de un modelo frente a la precisión, el punto más importante es el que se denomina sweet spot o punto justo. Este punto es el equilibrio que existe entre sesgo y varianza; entre generalizar bien y no llegar a donde tenemos que llegar.
Así pues, la gráfica propuesta más arriba describe la complejidad de un modelo frente a la precisión o accuracy. A medida que el modelo es más complejo, el accuracy sube. No obstante, esto tiene un truco, ya que significa que no podemos simplemente poner el modelo más complejo para que el accuracy se mantenga alto.
En el caso del número de vecinos más cercanos o algoritmo K-nn, si tenemos 100 vecinos, vamos a estar muy abajo en la gráfica (punto señalado en rojo); por el contrario, si tenemos 1 vecino, el modelo va a estar más arriba (señalado en verde en la imagen siguiente).
Con 100 vecinos, por tanto, vamos a tener un modelo con niveles de complejidad más bajos, porque tiene más instancias que asimilar. Esto significa que tiene más media y, por consiguiente, es una gráfica que resulta está más suavizada, más ponderada.
En cambio, si tenemos, por ejemplo, 1 solo vecino, el modelo va a ser mucho más complejo, ya que solo está fijándose en la instancia inmediatamente cercana para graduar cada una de las instancias que tiene que evaluar.
Entonces, entre tener 100 vecinos en un modelo muy simple y tener 1 en un modelo sumamente complejo, hay un punto medio. Este sería el ya mencionado sweet spot en la gráfica de complejidad de un modelo frente a la precisión.
Podríamos preguntarnos: ¿por qué no puede el modelo ser muy complejo en la gráfica de complejidad de un modelo frente a la precisión, si ya tenemos un accuracy lo suficientemente alto?
En la imagen anterior, la gráfica azul, que pertenece al análisis del conjunto de datos de entrenamiento, da la razón a esa pregunta, ya que, si observamos, cuanto más complejo es el modelo, mejor es el accuracy en training. Es decir, si tenemos un vecino, el accuracy es 100/100 y los datos están perfectamente representados por la función matemática que el modelo ha extraído.
¿Cuál es el problema?
El problema con de dejar la gráfica de complejidad de un modelo frente a la precisión con una complejidad tan alta es que no sabremos qué hacer cuando lleguen datos nuevos.
El que tengamos será un modelo tan ajustado a los datos de entrenamiento que, cuando le llegue una instancia que no ha visto de manera previa, va a elaborar un proceso de generalización mal ejecutado.
No es que no sepa qué hacer, sino que va a saber qué tiene que hacer, pero lo hará de manera errónea. Va a buscar, ante esa instancia nueva, la que más se parezca a todas las que ha visto en entrenamiento y va a decir “es esta”, “es aquella”. Esa forma de discriminar probablemente esté mal, ya que es posible que el grupo en el que se inserte el nuevo dato sea el grupo incorrecto.
¿Cuál es, entonces, el punto que se busca?
El sweet spot o punto ideal en una gráfica de complejidad de un modelo frente a la precisión es aquel en el que el accuracy es la máxima, antes de que caiga frente a la llegada de una nueva instancia.
Ahora que has entendido mejor en qué consiste el sweet spot en una gráfica de complejidad de un modelo frente a la precisión, podemos avanzar al siguiente nivel. Para ello, en KeepCoding tenemos el Big Data, Inteligencia Artificial & Machine Learning Full Stack Bootcamp, una formación intensiva en la que tendrás la oportunidad de adquirir todos los conocimientos y formación necesaria para incursionar rápidamente en el mundo laboral. ¡No esperas para solicitar más información y seguir tu camino hacia el éxito!
