[ad_1]
Hoy, Amazon SageMaker anunció la compatibilidad con la búsqueda en cuadrícula para el ajuste automático de modelos, lo que brinda a los usuarios una estrategia adicional para encontrar la mejor configuración de hiperparámetros para su modelo.
El ajuste automático del modelo de Amazon SageMaker encuentra la mejor versión de un modelo mediante la ejecución de muchos trabajos de entrenamiento en su conjunto de datos, utilizando un conjunto de hiperparámetros que usted especifique. Luego, selecciona los valores de hiperparámetros que dan como resultado un modelo que funciona mejor, comparado con una métrica de su elección.
Para encontrar los mejores valores de hiperparámetros para su modelo, el ajuste automático del modelo de Amazon SageMaker es compatible con varias estrategias, incluidas la bayesiana (predeterminada), la búsqueda aleatoria y la hiperbanda.
búsqueda de cuadrícula
La búsqueda en cuadrícula examina exhaustivamente las configuraciones en la cuadrícula de los hiperparámetros que define, lo que le permite obtener información sobre las configuraciones de hiperparámetros más prometedoras en su cuadrícula y reproducir de manera determinista sus resultados en diferentes ejecuciones de optimización. La búsqueda en cuadrícula le brinda más confianza de que se ha explorado todo el espacio de búsqueda de hiperparámetros. Este beneficio viene con una compensación, ya que es computacionalmente más costoso que la búsqueda bayesiana y aleatoria cuando su objetivo principal es encontrar la mejor configuración de hiperparámetro.
Búsqueda en cuadrícula con Amazon SageMaker
En Amazon SageMaker, utilice la búsqueda en cuadrícula cuando su problema requiera que tenga la combinación óptima de hiperparámetros que maximice o minimice su métrica objetiva. Un caso de uso común que los clientes usan Grid Search es cuando la precisión y la repetibilidad del modelo son más importantes para su negocio que los costos de capacitación necesarios para mantenerlos.
Para habilitar la búsqueda en cuadrícula en Amazon SageMaker, configure el Strategy
campo a Grid
al crear un trabajo de ajuste de la siguiente manera:
Además, la búsqueda en cuadrícula requiere que defina su espacio de búsqueda (cuadrícula cartesiana) como un rango categórico de valores discretos en su definición de trabajo usando CategoricalParameterRanges
clave debajo de la ParameterRanges
Parámetros de la siguiente manera:
Tenga en cuenta que no especificamos MaxNumberOfTrainingJobs
para la búsqueda en cuadrícula en la definición de trabajo, ya que esto se determina a partir del número de combinaciones de categorías. Si utiliza búsquedas aleatorias y bayesianas, especifíquelas MaxNumberOfTrainingJobs
-Parámetros como forma de controlar el coste de los trabajos de optimización definiendo un límite superior para el cálculo. En la búsqueda de cuadrícula, el valor de MaxNumberOfTrainingJobs
(ahora opcional) se establece automáticamente como el número de candidatos de búsqueda de cuadrícula en la forma DescribeHyperParameterTuningJob. Esto le permite explorar completamente la cuadrícula deseada de hiperparámetros. Además, la definición de búsqueda de cuadrícula solo acepta rangos categóricos discretos y no requiere una definición de rango entero o continuo, ya que cada valor en la cuadrícula se considera discreto.
Experimento de búsqueda en cuadrícula
En este experimento, en una tarea de regresión, buscamos los hiperparámetros óptimos dentro de un espacio de búsqueda de 200 hiperparámetros, 20 eta
y 10 alpha
en el rango de 0,1 a 1. Utilizamos el conjunto de datos de marketing directo para optimizar un modelo de regresión.
- y: reducción del tamaño de paso utilizado en las actualizaciones para evitar el sobreajuste. Después de cada paso de impulso, puede consultar directamente el peso de las nuevas funciones. Que
eta
El parámetro en realidad reduce los pesos de las características para que el proceso de impulso sea más conservador. - alfa: Término de regularización L1 para pesos. Aumentar este valor hace que los modelos sean más conservadores.
El gráfico de la izquierda muestra un análisis de la eta
Hiperparámetros relacionados con la métrica objetiva y muestra cómo la búsqueda en cuadrícula agotó todo el espacio de búsqueda (cuadrícula) en los ejes X antes de devolver el mejor modelo. Asimismo, el diagrama de la derecha analiza los dos hiperparámetros en un único espacio cartesiano para mostrar que todos los puntos de la cuadrícula fueron seleccionados durante la sintonización.
El experimento anterior demuestra que la naturaleza exhaustiva de la búsqueda en cuadrícula garantiza una selección óptima de hiperparámetros dado el espacio de búsqueda definido. También muestra que, en igualdad de condiciones, puede reproducir el resultado de su búsqueda en iteraciones de optimización.
Flujos de trabajo de ajuste automático de modelos (AMT) de Amazon SageMaker
Con el ajuste automático del modelo de Amazon SageMaker, puede encontrar la mejor versión de su modelo ejecutando trabajos de entrenamiento en su conjunto de datos utilizando múltiples estrategias de búsqueda, como bayesiana, búsqueda aleatoria, búsqueda en cuadrícula e hiperbanda. Con el ajuste automático de modelos, puede reducir el tiempo que lleva ajustar un modelo al buscar automáticamente la mejor configuración de hiperparámetros dentro de los rangos de hiperparámetros que especifique.
Ahora que hemos revisado los beneficios de usar la búsqueda en cuadrícula en Amazon SageMaker AMT, echemos un vistazo a los flujos de trabajo de AMT y comprendamos cómo encaja todo en SageMaker.
Conclusión
En esta publicación, discutimos cómo ahora puede usar la estrategia de búsqueda de cuadrícula para encontrar el mejor modelo y su capacidad para reproducir de manera determinista los resultados en diferentes trabajos de ajuste. Hemos discutido la compensación de usar la búsqueda en cuadrícula frente a otras estrategias y cómo puede usarla para explorar qué regiones de los espacios de hiperparámetros son las más prometedoras y reproducir sus resultados de forma determinista.
Para obtener más información sobre la optimización automática de modelos, visite la página del producto y la documentación técnica.
Sobre el Autor
doug mbaya es un arquitecto de soluciones asociado sénior con un enfoque en datos y análisis. Doug trabaja en estrecha colaboración con los socios de AWS, ayudándolos a integrar soluciones de análisis y datos en la nube.
[ad_2]