¿Qué es el sobreajuste en el aprendizaje automático y por qué ocurre?

/ / Publicado en Inteligencia Artificial, Fundamentos de TensorFlow de EITC/AI/TFF, Problemas de sobreajuste y ajuste, Resolviendo problemas de sobreajuste y desajuste del modelo - parte 2, revisión del examen

El sobreajuste es un problema común en el aprendizaje automático donde un modelo funciona extremadamente bien con los datos de entrenamiento pero no logra generalizar a datos nuevos e invisibles. Ocurre cuando el modelo se vuelve demasiado complejo y comienza a memorizar el ruido y los valores atípicos en los datos de entrenamiento, en lugar de aprender los patrones y relaciones subyacentes. En otras palabras, el modelo se vuelve demasiado especializado en los datos de entrenamiento y pierde su capacidad de hacer predicciones precisas sobre datos nuevos.

Hay varias razones por las que puede ocurrir un sobreajuste. Una razón es cuando el modelo tiene demasiados parámetros en relación con la cantidad de datos de entrenamiento disponibles. Con una gran cantidad de parámetros, el modelo puede ajustar fácilmente el ruido en los datos, lo que lleva a un sobreajuste. Otra razón es cuando el modelo se entrena durante demasiado tiempo, lo que le permite memorizar los datos de entrenamiento en lugar de aprender los patrones generales. Además, el sobreajuste puede ocurrir cuando los datos de entrenamiento no son representativos de la población o cuando hay valores atípicos o errores en los datos de entrenamiento.

Para ilustrar el concepto de sobreadaptación, consideremos un ejemplo sencillo de predicción de los precios de la vivienda en función del número de dormitorios. Supongamos que tenemos un conjunto de datos de 100 casas con sus precios correspondientes y queremos construir un modelo para predecir el precio de una casa nueva en función del número de habitaciones. Si ajustamos un modelo de regresión lineal a estos datos, podríamos obtener una ecuación simple como precio = 100000 + 50000 * habitaciones. Este modelo ha aprendido la relación general entre el número de dormitorios y el precio de una casa.

Sin embargo, si tenemos una gran cantidad de parámetros en nuestro modelo, como precio = a + b1 * dormitorios + b2 * dormitorios^2 + b3 * dormitorios^3 +…, el modelo puede volverse demasiado complejo y comenzar a ajustar el ruido. en los datos. Puede terminar con un polinomio de alto grado que pasa por cada punto de datos, lo que da como resultado un modelo sobreajustado a los datos de entrenamiento. Si bien este modelo puede tener un error de entrenamiento muy bajo, probablemente tendrá un error alto al predecir los precios de las casas nuevas.

Para abordar el problema del sobreajuste, se pueden emplear varias técnicas. Un enfoque común es utilizar la regularización, que agrega un término de penalización a la función de pérdida del modelo. Este término de penalización disuade al modelo de asignar demasiada importancia a cualquier característica o parámetro. Las técnicas de regularización como la regularización L1 (Lasso) y la regularización L2 (Ridge) pueden ayudar a reducir el sobreajuste al reducir los valores de los parámetros hacia cero.

Otro enfoque es aumentar la cantidad de datos de entrenamiento. Más datos pueden ayudar al modelo a aprender los patrones subyacentes y reducir el impacto del ruido en los datos de entrenamiento. Si no es posible recopilar más datos, se pueden utilizar técnicas como el aumento de datos para aumentar artificialmente el tamaño del conjunto de datos de entrenamiento.

La validación cruzada es otra técnica útil para combatir el sobreajuste. En lugar de evaluar el rendimiento del modelo en una única división de prueba de tren, la validación cruzada implica dividir los datos en múltiples pliegues y entrenar el modelo en diferentes combinaciones de estos pliegues. Esto proporciona una estimación más sólida del rendimiento del modelo y ayuda a identificar el sobreajuste.

Finalmente, simplificar la arquitectura del modelo también puede ayudar a reducir el sobreajuste. Esto se puede hacer reduciendo la cantidad de parámetros, utilizando modelos más simples o aplicando técnicas de reducción de dimensionalidad, como el análisis de componentes principales (PCA) o la selección de características.

El sobreajuste es un problema común en el aprendizaje automático donde un modelo funciona bien con los datos de entrenamiento pero no logra generalizar a datos nuevos. Ocurre cuando el modelo se vuelve demasiado complejo y comienza a ajustar el ruido y los valores atípicos en los datos de entrenamiento. El sobreajuste se puede abordar mediante el uso de técnicas como la regularización, el aumento de la cantidad de datos de entrenamiento, la validación cruzada y la simplificación de la arquitectura del modelo.

Otras preguntas y respuestas recientes sobre Fundamentos de TensorFlow de EITC/AI/TFF:

Ver más preguntas y respuestas en EITC/AI/TFF Fundamentos de TensorFlow

Más preguntas y respuestas:

Etiquetado como: , , , , ,