Uso de árboles de regresión aditivos bayesianos para el modelado de resultados flexible

Uso de árboles de regresión aditivos bayesianos para el modelado de resultados flexible


En esta publicación, ofrezco una descripción general de los árboles de regresión aditivos bayesianos (BART). También muestro cómo puede entrenar y puntuar modelos BART utilizando el nuevo procedimiento BART y el conjunto de acciones de árboles de regresión aditivos bayesianos en SAS Visual Statistics.

Una tarea común para estadísticos y científicos de datos es modelar una variable de resultado (también llamada variable objetivo). Puede utilizar un modelo de resultados solo con fines predictivos. O úselo como una herramienta para explorar la relación entre el resultado y un predictor de interés específico. Para ambos propósitos, los modelos BART han demostrado ser una herramienta de modelado de resultados eficaz y fácil de usar.

Descripción general del modelo BART

Como modelo predictivo puro, los modelos BART tienen muchas características deseables. Mediante el uso de un conjunto de suma de árboles para aproximar la media condicional de una respuesta, los modelos BART pueden hacer varias cosas. Puede integrar una combinación de predictores categóricos y continuos, capturar interacciones entre predictores sin tener que modelar explícitamente los términos de interacción y manejar los valores faltantes en las variables predictoras. Para ajustar un modelo BART, use un algoritmo de Monte Carlo (MCMC) de cadena de Markov de adaptación bayesiana para generar muestras posteriores del conjunto de suma de árboles mediante el muestreo secuencial de actualizaciones para cada árbol. El modelo final consta de las muestras posteriores del conjunto que almacena para la predicción. Por lo tanto, a diferencia de los modelos de bosques aleatorios o potenciadores de gradientes, que también utilizan conjuntos basados ​​en árboles, los modelos BART constan de muchas muestras del conjunto. Los árboles tampoco se cultivan individualmente y se agregan al conjunto.

Ventajas de los modelos BART

Entrenar un modelo BART y crear las muestras posteriores del conjunto que conforman el modelo final puede ser un proceso que requiere mucho tiempo. Además, puntuar nuevos datos con un modelo BART puede llevar mucho tiempo para grandes conjuntos de datos. Esto se debe a la necesidad de ejecutar cada observación a través de todas las muestras almacenadas del conjunto y promediar las predicciones de la muestra. Sin embargo, este enfoque de modelado le ofrece algunas ventajas. Como lo describen Chipman, George y McCulloch (2010), el BART anterior predeterminado generalmente funciona bien en términos de ajuste del modelo. Este rendimiento no cambia significativamente si hay pequeños cambios en el parámetro anterior. Por lo tanto, una característica popular de los modelos BART es que la especificación del modelo estándar generalmente funciona bien y no se requiere ajuste de hiperparámetros. Además, puede evaluar la incertidumbre en las predicciones del modelo BART en función de la variabilidad de las muestras posteriores.

Los modelos BART han demostrado su valor no solo como un modelo predictivo puro, sino también cuando se utilizan modelos de resultados para estudiar la relación entre el resultado y un predictor de interés específico. Según lo informado por Dorie et al. (2019) Los modelos BART han demostrado ser el método más poderoso en las competencias inferenciales causales.

Modelos BART en SAS Visual Statistics

A partir de la versión 2022.1.1 de SAS Visual Statistics, ahora puede entrenar modelos BART de respuestas normales de dos maneras. Puedes usar cualquiera de esos bart-gauss Acción en el conjunto de acciones de árboles de regresión aditivos bayesianos. O puede utilizar el procedimiento BART correspondiente. Modelos BART entrenados utilizando el proceso BART o bart-gauss La acción se puede guardar como memoria de análisis. Puede utilizar el modelo almacenado para puntuar nuevas observaciones utilizando el procedimiento ASTORE, que puntuación de bart acción en el barba sentencia de acción o la puntaje acción en el invitar conjunto de acciones También puede usar un modelo BART guardado y el bartPuntuaciónMargen Actuación para alcanzar los márgenes previstos.

Los márgenes predictivos se obtienen estableciendo primero el valor de una o más variables de entrada. Luego, los valores pronosticados se promedian sobre la distribución de covariables en una tabla de datos de entrada. En los casos en que se aplican los supuestos causales correctos, la diferencia entre los márgenes de predicción que afectan a la misma variable puede corresponder a un enfoque basado en la regresión o la superficie de respuesta para estimar los efectos causales.

Ejemplo de árboles de regresión aditivos bayesianos

Este ejemplo utiliza el peso de humo Registro. Los datos están disponibles en la documentación del procedimiento CAUSALTRT en SAS/STAT. Nuestro ejemplo examina el efecto de dejar de fumar en el cambio de peso individual durante un período de diez años. En este ejemplo, asumimos que se mantienen los supuestos causales requeridos para estimar el efecto medio del tratamiento (ATE). Por lo tanto, asumimos que el conjunto de covariables medidas representa un conjunto de ajuste válido. Para obtener más información sobre estas suposiciones y lo que significan, consulte Descripción general del análisis causal.

Procedimiento BART

Para estudiar el efecto de interés, primero ajustamos un modelo utilizando el método BART. Luego almacenamos el modelo en un almacén analítico. Finalmente, usamos el procedimiento CAS para invocar la acción bartScoreMargin para calcular la diferencia en los márgenes predictivos definidos por la variable de tratamiento QUIT.

Las siguientes declaraciones usan el procedimiento BART para ajustar un modelo BART para la variable de respuesta cambio y crear el almacén analítico mycas.store1.

   proc bart data=mycas.smokingWeight seed=1976;
      class Sex Race Education Exercise Activity Quit;
      model Change = Quit Sex Education Exercise Activity YearsSmoke PerDay;
      store mycas.store1;
   run;

El procedimiento BART utiliza la sintaxis tradicional de MODEL, enumerando la variable de respuesta (u objetivo) y las variables predictoras. La clasificación o los predictores nominales se enumeran en la instrucción CLASS. En este ejemplo, las variables predictoras incluyen la variable de tratamiento de interés, Deténgase. También se incluyen las variables de confusión, que asumimos representan un conjunto de ajuste válido. El modelo se personaliza con las especificaciones estándar. Después de 100 iteraciones de quemado, se generan y almacenan 1000 muestras de un conjunto de 200 árboles para la predicción.

En este ejemplo, el modelo está instalado en el modo de una sola máquina y todas las sondas traseras funcionan en una sola cadena. De manera predeterminada, cuando entrena un modelo BART en un clúster de computadoras, se ejecutan múltiples cadenas paralelas. A continuación, divide las muestras de MCMC entre los nodos trabajadores. Debido al muestreo aleatorio involucrado en la generación de las muestras posteriores, el ajuste de un modelo BART depende del número de cadenas que se ejecutan. Para la reproducibilidad, puede especificar la cantidad de cadenas paralelas para usar hasta la cantidad de nodos trabajadores disponibles. O puede solicitar que se ejecute una sola cadena, en la que a cada colaborador se le asigne solo un subconjunto de los datos de capacitación.

procedimiento CAS

Cuando el modelo ajustado se almacena en el almacén de análisis mycas.store1, usamos PROC CAS para invocar el acción bartScoreMargin y calcular los márgenes de predicción definidos por la variable de tratamiento Deténgase. El modelo guardado mycas.store1 está indicado por el restaurar Parámetro. La tabla de datos de las observaciones a evaluar se indica mediante mesa Parámetro. Dos rangos de predicción que incluyen intervenciones en la variable Deténgase se especifican en el bordes Parámetro. El margen predictivo denominado Finalización establece el valor de Deténgase a 1, correspondiente a un sujeto que ha dejado de fumar. El margen predictivo denominado «No Cese» establece el valor de Deténgase a 0, que corresponde a un sujeto que no se detiene. Estos nombres se utilizan en el parámetro de diferencia para solicitar la diferencia entre estos rangos de predicción.

   proc cas;
      action bart.bartScoreMargin /
      table = {name="smokingWeight"}
      restore = {name="store1"}
      margins= {
         { name="Cessation",   at={{var="Quit" value="1"}}}
         { name="No Cessation",at={{var="Quit" value="0"}}}
      }
      differences = {
         { label="Cessation Difference" 
           refMargin="No Cessation" 
           evtMargin="Cessation"}
      };
      run;
   quit;

márgenes de predicción

Suponiendo las suposiciones causales correctas, los márgenes predictivos calculados utilizando los datos de entrenamiento corresponderían a las estimaciones medias del resultado potencial. Su diferencia proporcionaría una estimación del efecto medio del tratamiento (ETA). Para estimar un efecto condicional dentro de una subpoblación, se puede usar una tabla de datos diferente a la de los datos de entrenamiento para calcular los márgenes de predicción. En general, puede utilizar esos bartPuntuaciónMargen Acción para evaluar márgenes predictivos actuando sobre más de una variable. Las predicciones se pueden calcular para una tabla de datos de entrada diferente a la de los datos de entrenamiento.

La Figura 1 muestra las estimaciones del margen predictivo, su diferencia y los intervalos finales creíbles del 95 % para este ejemplo. La diferencia estimada de aproximadamente 2,92 kilogramos es comparable a las estimaciones ATE obtenidas en la documentación del PROC CAUSALTRT. Tenga en cuenta que si está interesado en alguna otra función de los márgenes predictivos además de su diferencia, puede usar eso casout -Parámetro para crear una tabla de datos de salida en el servidor. Contiene la estimación del margen de predicción de cada muestra del conjunto almacenado para la predicción. Luego puede aplicar la función de interés a esta tabla de datos de salida y calcular el intervalo creíble correspondiente.

Figura 1: Árboles de regresión aditivos bayesianos: diferencia final en los márgenes predictivos

Figura 1: Diferencia de margen predictivo de salida

Resumen de árboles de regresión aditivos bayesianos

Con el nuevo proceso BART y barba El conjunto de acciones en SAS Visual Statistics le permite ajustar y guardar modelos BART para respuestas normales. Mediante el uso de un conjunto de suma de árboles, los modelos BART ofrecen un enfoque flexible. Pueden incluir predictores continuos, predictores categóricos, valores de predictores faltantes e interacciones de predictores. Debido a que la configuración predeterminada para BART Prior tiende a funcionar bien, los modelos BART son fáciles de personalizar. Y por lo general no requieren ajuste de hiperparámetros.

Con un modelo guardado, puede obtener o utilizar nuevos datos bartPuntuaciónMargen Acción de calcular márgenes de predicción para estudiar el efecto de las intervenciones sobre una o más variables predictoras en una población de interés. Aunque puntuar los datos con un modelo BART requiere más computación que puntuar los datos con otros modelos basados ​​en árboles, una ventaja de usar modelos BART es que puede reducir la incertidumbre en las predicciones del modelo en función de la variabilidad en las muestras posteriores que pueden puntuar.

Más información | SAS Viya
Más información | Conjunto de acciones de árboles de regresión aditiva bayesiana

Related post

El equipo Autopilot de Tesla y Cybertruck visitan Nueva Orleans para CVPR

El equipo Autopilot de Tesla y Cybertruck visitan Nueva…

El equipo de piloto automático de Tesla visitó recientemente Nueva Orleans para la Conferencia sobre visión artificial y reconocimiento de patrones…
El programa interactivo de los científicos informáticos ayuda a planificar el movimiento para entornos con obstáculos – ScienceDaily

El programa interactivo de los científicos informáticos ayuda a…

Al igual que nosotros, los robots no pueden ver a través de las paredes. A veces necesitan un poco de ayuda…
Toma lecciones en realidad virtual con Immerse, una aplicación de voz para Quest 2

Toma lecciones en realidad virtual con Immerse, una aplicación…

En el metaverso, imagínese llegando tarde a la escuela. Bucear es una plataforma educativa de metaverso desarrollada en colaboración con los…

Leave a Reply

Tu dirección de correo electrónico no será publicada.