Neste exposto encontram-se os gráficos resultantes das aplicações dos métodos de interpretabilidade sobre o modelo XGBoost previamente ajustado. São os métodos globais: Gráfico de Dependência Parcial (PDP), Gráfico da Esperança Condicional Individual (ICE), Gráfico de Efeitos Locais Acumulados (ALE), Importância da Covariável por Permutação, Interação das Covariáveis e Modelo Interpretável Substituto Global. E os métodos individuais: Modelo Interpretável Substituto Local (LIME), Regras de Escopo (Âncoras) e Explicações Aditivas Shapley (SHAP).

Todas as métricas foram empregadas via pacote iml (veja sua documentação neste link).

Gráfico de Dependência Parcial (PDP)

Mostra o efeito marginal que as covariáveis têm sobre o resultado final predito de um modelo de ML (Friedman, 2001). A função de dependência parcial (DP) para um conjunto de covariáveis \(S\) pode ser estimada por: \[\hat f_{x_S}(x_S)=\frac{1}{n}\sum_{j=1}^{n}\hat f(x_S,x_{Cj}),\] em que \(x_S\) é o vetor de variáveis de interesse das quais a função DP deve ser plotada e \(x_C\) é o vetor das variáveis restantes que são contidas no modelo de ML ajustado \(f\). Ao avaliar o gráfico da DP como função dos valores de \(x_S\), é possível observar se os valores da DP alteram significativamente ao variar os valores de \(x_S\). Se isso acontecer, é um indicativo da influência global das covariáveis do conjunto \(S\) nas decisões do modelo de ML.

Gráfico da Esperança Condicional Individual (ICE)

Seja o modelo não interpretável \(f(S, C)\) do item anterior. No gráfico da esperança condicional individual é plotada uma curva formada pelo ponto \((x_S,\hat f(x_S, C_j))\), \(i=1,\ldots,S,\,\,j=1,\ldots,n\), para cada observação da amostra. Isso significa que o gráfico de dependência parcial é um caso especial do gráfico da esperança condicional individual, uma vez que a curva do primeiro é a média das curvas do segundo. Mais detalhes podem ser visto em Molnar (2019).

Gráfico de Efeitos Locais Acumulados (ALE)

Tem o mesmo objetivo do gráfico de dependência parcial: calcular o efeito médio das covariáveis sobre a predição de um modelo de ML. No entanto, o método dos efeitos locais acumulados atua sobre a distribuição condicional das covariáveis e calcula as médias das mudanças que ocorrem sobre as predições e acumuladas em uma grade. Esse método é proposto e bem descrito em Apley & Zhu (2016).

Interação das Covariáveis

Essa abordagem avalia o peso da interação de dada covariável com as demais. Uma maneira de estimar a força da interação é medir o quanto da variação da previsão depende da interação das covariáveis, uma medida possível é a estatísstica H, introduzida por Friedman et al. (2008).

Importância da Covariável por Permutação

A ideia geral da teoria que há por detrás da importância da covariável por permutação, que foi introduzida por Breiman (2001), diz que a importânncia de uma covariável em um modelo é quantificada pelo aumento do erro em sua predição após permutar essa variável. Se permutando os valores da covariável o erro da predição aumenta, então essa variável é importante para o modelo; caso contrário (se o erro da predição não se altera), a variável é insignificante.

Modelo Interpretável Substituto Global

Um modelo substituto global é um modelo interpretável treinado para aproximar as previsõees de um modelo não explicável escolhido. Podemos tirar conclusões sobre o modelo de caixa preta interpretando o modelo substituto. A predição do modelo caixa preta é usada como a variável resposta de um modelo interpretável ao considerar as covariáveis usadas na predição.

Modelo Interpretável Substituto Local (LIME)

Nesse método, Ribeiro et al.(2016) propõem uma implementação de modelos interpretáveis substitutos locais (individuais) para aproximar as previsõees do modelo caixa preta utilizado para obter aquela dada predição que se pretende interpretar. A ideia é a mesma do método do substituto global, mas ao invés de treinar um modelo substituto global, o LIME se concentra em explicar previsõees individuais.

Explicações Aditivas Shapley (SHAP)

O método SHAP, de Lundberg & Lee (2017), explica a previsão de uma observação individualmente ao calcular a contribuição de cada covariável na previsão a partir de todas as combinações possíveis de presença e ausência da covariável em questão.

Referências

  • Apley, D. W. & Zhu, J. (2016). Visualizing the effects of predictor variables in black box supervised learning models. arXiv preprint arXiv:1612.08468.

  • Breiman, L. (2001). Random forests. Machine learning, 45(1):5–32.

  • Friedman, J. H. (2001). Greedy function approximation: a gradient boosting machine. Annals of statistics, pages 1189–1232.

  • Friedman, J. H., Popescu, B. E., et al. (2008). Predictive learning via rule ensembles. The Annals of Applied Statistics, 2(3):916–954.

  • Molnar, C. (2019). Interpretable machine learning. lulu. com.

  • Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). ”why should i trust you?”explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining, pages 1135–1144.

  • Ribeiro, M. T., Singh, S., & Guestrin, C. (2018). Anchors: High-precision model-agnostic explanations. In Thirty-Second AAAI Conference on Artificial Intelligence.