Resumo

Backgroud: As Funções Executivas (FEs) compõem um conjunto de habilidades de alta ordem que envolvem, mas não se limitam, a memória de trabalho, o controle inibitório, e a flexibilidade cognitiva. O estudo das FEs pode ser feito por escalas aplicadas a pais e professores e o Behavior Rating Inventory of Executive Function (BRIEF) tem se mostrado um instrumento de grande potencial à clínica e à pesquisa. No entanto, ainda há uma carência de estudos sobre suas propriedades psicométricas com amostras de participantes brasileiros. Objetivo: Investigar aspectos de validade e fidedignidade do BRIEF, possibilitando tanto explorar sua estrutura dimensional como testar hipóteses confirmatórias. Método: . A análise de dados contou com etapas Exploratória e Confirmatórias. Um modelo oblíquo de três dimensões para os dados obtidos pela Escala dos pais e outro de duas dimensões à Escala dos professores foram testados contando com a extração fatorial utilizado o método dos Mínimos Quadrados Ponderados Robustos (WLSMV) com uso de matrizes de correlação policórica. Resultados: Os resultados concluíram favoravelmente a uma estrutura fatorial com três dimensões na Escala aplicada aos pais (χ2(1649) = 4245.23, CFI = 0.97, TLI = 0.97, RMSEA = 0.05, SRMR = 0.07) e duas dimensões na Escala dos professores (χ2 (1273) = 6524.03, CFI = 0.99, TLI = 0.99, RMSEA = 0.09, SRMR = 0.09). A fidedignidade de ambas as escalas e suas dimensões foi superior a 0.7 tanto no Coeficiente Alfa de Cronbach como Ômega de Mcdonald. Conclusão: Palavras-chave: Funções Executivas, Desenvolvimento cognitivo, Psicometria, Validade, BRIEF

Methods

Participants

The data for this study was gathered from a larger study aiming at exploring Executive Function and its health association in children. Having said that, 3284 participants were acessed in the present study. The mean age was 8.18 (SD = 2.6), minimum of 5, and maximum of 18). Within this group, ,49.7 are boys. Participant demographics are reported in Table 1.

Measures

Procedures

Statistical analysis

Different steps of the data analysis process were carried out in order to achieve the aims proposed in the present research. Initially, the dataset was explored as a whole aiming at finding the presence of inconsistencies and missing data. Multiple imputation procedure via Predictive Mean Matching (PMM) was used for cases in which missing values were lower or equal than 5%, whereas observations in which missing values were higher than this threshold were not included in the analyzes (Zio and Guarnera 2008).

To investigate the psychometric properties of both scales, the dataset composed of typical children was used (n = 3284). Following academic recommendations, this dataset was randomly split into two samples so that exploratory analyses could be conducted on one-half of the sample and the confirmatory analyses could be conducted on the second half.

Before performing an Exploratory Factor Analysis (EFA), the results of the Kaiser Meyer Olkin (KMO) and Bartlett’s test were interpreted. A sample is deemed adequate if the value of KMO is greater than 0.5, and a significant result of Bartlett’s Test of. Sphericity indicates that the matrix is not an identity matrix and, therefore, is suitable for EFA.

Next, the EFA was performed to identify the latent dimensions of the scales. All items were treated as ordered categorical, and the estimator was the Weighted Least Squares Means and Variance adjusted (WLSMV), once it makes no distributional assumptions about the observed variables (Suh 2015). Models with 2-5 oblique dimensions were estimated.

The decision of how many factors to retain is a critical component of Factor Analysis procedures. In this research, the results of the eigenvalues scree-plot and the parallel analysis’s were analyzed. After that, the Confirmatory Factor Analysis (CFA) was performed in the solution with both adequate interpretability and Goodness-of-Fit. Because in CFA, constraints are implemented, whereas n EFA has all indicators load on all factors, the CFA fit tends to be poorer than the ones achieved by EFA.

A solution was considered appropriate if it showed a good fit and had no improper interpretation. The Comparative Fit Index (CFI) or the Tucker-Lewis index higher or equal than 0.9, with the Root Mean Square Error of Approximation (RMSEA) or the Standardized Root Mean Square Residual (SRMR) less 0.1 were considered to maintain the model (Furr 2011a; Hu and Bentler 1999).

The academic performance was assessed using the overall scores achieved Arruda, contigo, the Strengths and Difficulties were accessed by the Strengths and Difficulties Questionnaire (SDQ), and the negative impact daily life activities was accessed via Arruda contigo. Because all questionnaires aim at metrifying FEs problems, it was predicted that groups consisting of low-performing children, high difficulties and negative impacts would have higher results on all scales. This hypothesis was explored through ANOVA and pairwise comparisons of mean with results adjusted for multiple testing using the Bonferroni procedure.

Finally, to explore construct validity and clinical utility of both scales, the known-groups method was used. From a sample of 165 children previously diagnosed with ADHD, independent T-tests between ADHD and non-ADHD groups was carried out in all domains investigated by both scales. This technique is seen as part of the construct validity and checks the extent to which a measure predicted different results between groups that are theoretically known to differ (Hattie and Cooksey 1984).

Analyses were performed in R 3.5.1 (R Core Team 2018), with tidyverse (Wickham 2017), lavaan (Rosseel 2012), and psych packages (Revelle 2018).

Ethical Considerations

Results

Inicialmente, a base foi explorada em busca de dados ausentes. Essa etapa é fundamental não somente para mapear a consistência dos dados, mas para proceder com uma imputação dos valores caso isso seja necessário. Tanto a AEFE versão professores, quanto a versão pais tiveram uma quantidade de dados ausentes menor do que 5% e sem nenhuma evidência de perdas com padrões. Os gráficos a seguir apresentam ambos os resultados.

Resultados descritivos e psicométricos de cada um dos itens que compõem a escala foram computados. A confiabilidade de um instrumento psicológico (reliability) se refere à capacidade que ele tem de medir com precisão, consistência e estabilidade ao longo do tempo o constructo que ele se propõe a medir. Em outras palavras, é sua capacidade de produzir os mesmos resultados quando aplicado em um mesmo sujeito em diferentes ocasioões ou em uma única ocasião com dois observadores distintos (Furr 2011b). Em relação à Confiabilidade dos dados, o Coeficiente Alpha de Cronbach e o Coeficiente Ômega de Mcdonald indicam o quão consistente são os dados e valores acima de 0.7 são considerados adequados. A correlação item-total é também uma métrica que auxilia a verificar essa consistência interna, uma vez que indica a força e a direção que cada item se correlaciona com a pontuação total. Resultados iguais ou acima de 0.3 são aceitáveis quando sabe-se da unidimensionalidade do instrumento. Quando o instrumento não é unidimensional, esses resultados são relaxados (Nunnally 1994).

A Tabela (#) apresenta os resultados da AEFE versão pais.

Tabela x. Resultados descritivos da AEFE – versão Pais
item Média DP Cor item-total Alfa se deletado
1 0.65 0.67 0.47 0.95
2 0.63 0.62 0.50 0.95
3 0.72 0.67 0.53 0.95
4 0.55 0.66 0.59 0.95
5 0.42 0.60 0.47 0.95
6 0.27 0.50 0.35 0.95
7 0.83 0.52 0.48 0.95
8 1.08 0.71 0.53 0.95
9 0.56 0.61 0.41 0.95
10 0.96 0.76 0.48 0.95
11 0.39 0.60 0.41 0.95
12 0.90 0.73 0.50 0.95
13 0.69 0.60 0.45 0.95
14 0.78 0.73 0.54 0.95
15 0.90 0.68 0.54 0.95
16 1.08 0.73 0.64 0.95
17 0.83 0.65 0.49 0.95
18 0.84 0.74 0.53 0.95
19 0.80 0.72 0.56 0.95
20 0.32 0.54 0.44 0.95
21 0.88 0.71 0.55 0.95
22 1.17 0.71 0.44 0.95
23 0.88 0.75 0.53 0.95
24 0.70 0.68 0.53 0.95
25 0.90 0.70 0.54 0.95
26 1.00 0.74 0.51 0.95
27 0.78 0.61 0.50 0.95
28 0.70 0.68 0.53 0.95
29 0.44 0.66 0.33 0.95
30 0.38 0.64 0.28 0.95
31 0.73 0.64 0.44 0.95
32 0.83 0.78 0.46 0.95
33 0.83 0.70 0.28 0.95
34 0.86 0.64 0.46 0.95
35 0.57 0.63 0.43 0.95
36 0.77 0.68 0.41 0.95
37 0.69 0.68 0.56 0.95
38 0.81 0.63 0.42 0.95
39 0.88 0.74 0.28 0.95
40 0.84 0.67 0.41 0.95
41 0.71 0.67 0.37 0.95
42 0.92 0.68 0.46 0.95
43 0.94 0.62 0.45 0.95
44 0.77 0.71 0.55 0.95
45 0.53 0.66 0.55 0.95
46 0.35 0.56 0.47 0.95
47 0.83 0.68 0.53 0.95
48 0.59 0.63 0.51 0.95
49 0.96 0.65 0.32 0.95
50 0.77 0.71 0.51 0.95
51 1.06 0.65 0.04 0.95
52 0.83 0.70 0.53 0.95
53 0.65 0.63 0.50 0.95
54 0.88 0.75 0.48 0.95
55 0.62 0.67 0.43 0.95
56 0.60 0.70 0.33 0.95
57 0.72 0.74 0.41 0.95
58 0.98 0.74 0.34 0.95
59 0.85 0.68 0.54 0.95
60 0.75 0.79 0.45 0.95
61 0.69 0.75 0.41 0.95
62 0.70 0.67 0.51 0.95
63 0.40 0.59 0.49 0.95
64 0.99 0.87 0.15 0.95
65 0.81 0.66 0.34 0.95

Esses resultados indicam que todos os itens tem relação positiva com a pontuação total. Entretanto, os itens 30 (Não consegue prestar atenção a videogames ou jogos de computador por tempo prolongado), 33 (Não faz uma checagem final das suas tarefas ou atividades em busca de possíveis erros) e 39 (Não sabe guardar segredo) foram inferiores, porém próximos, a 0.3 e os itens 51 (Reconhece que tem um problema a resolver) e 64 (Tenta resolver o problema do seu jeito, antes de pedir ajuda a alguém) tiveram baixa correlação item-total.

O Alfa total desse questionário foi de 0.95 e o Ômega de Mcdonald foi de omega(ife_65_c)$omega.tot indicando que a consistência interna dos dados está preservada. Esse resultado é similar ao encontrado no estudo original (Gioia et al. 2000, 236) e no estudo exploratório previamente realizado no Brasil (Bustamante Carim, Miranda, and Bueno 2012).

A Tabela a seguir realiza as mesmas apresentações descritivas para a AEFE versão professores.

Tabela x. Resultados descritivos da AEFE – versão Professores
item Média DP Cor item-total Alfa se deletado
1 0.65 0.65 0.66 0.98
2 0.36 0.59 0.57 0.98
3 0.26 0.50 0.62 0.98
4 0.53 0.67 0.60 0.98
5 0.32 0.53 0.58 0.98
6 0.77 0.68 0.62 0.98
7 0.69 0.65 0.60 0.98
8 0.65 0.69 0.79 0.98
9 0.66 0.67 0.68 0.98
10 0.47 0.61 0.61 0.98
11 0.34 0.59 0.65 0.98
12 0.82 0.69 0.73 0.98
13 0.51 0.63 0.69 0.98
14 0.65 0.68 0.75 0.98
15 0.55 0.64 0.56 0.98
16 0.34 0.58 0.58 0.98
17 0.61 0.72 0.74 0.98
18 0.45 0.62 0.68 0.98
19 0.47 0.67 0.75 0.98
20 0.58 0.69 0.59 0.98
21 0.50 0.65 0.72 0.98
22 0.54 0.66 0.66 0.98
23 0.54 0.67 0.75 0.98
24 0.49 0.64 0.59 0.98
25 0.56 0.66 0.73 0.98
26 0.43 0.63 0.59 0.98
27 0.45 0.64 0.62 0.98
28 0.25 0.52 0.60 0.98
29 0.33 0.60 0.70 0.98
30 0.61 0.65 0.72 0.98
31 0.30 0.55 0.63 0.98
32 0.50 0.64 0.68 0.98
33 0.58 0.64 0.71 0.98
34 0.43 0.63 0.64 0.98
35 0.40 0.62 0.69 0.98
36 0.54 0.64 0.71 0.98
37 0.41 0.59 0.67 0.98
38 0.57 0.66 0.62 0.98
39 0.37 0.57 0.66 0.98
40 0.26 0.52 0.65 0.98
41 0.50 0.63 0.67 0.98
42 0.37 0.60 0.55 0.98
43 0.64 0.66 0.67 0.98
44 0.24 0.50 0.65 0.98
45 0.42 0.61 0.61 0.98
46 0.80 0.64 0.67 0.98
47 0.45 0.66 0.63 0.98
48 0.67 0.70 0.78 0.98
49 0.56 0.68 0.74 0.98
50 0.25 0.52 0.60 0.98
51 0.29 0.56 0.69 0.98
52 0.46 0.62 0.68 0.98

Nesse instrumento, todos os itens tiveram resultados iguais ou acima a 0.3, além de correlação positiva com a pontuação total. Nessa escala, o Coeficiente Alpha total foi de 0.98 e o Coeficiente de Mcdonald foi 0.98. A investigação sobre os intervalos de confiança de ambos os resultados permitem concluir que as respostas ao AEFE - versão Professores são mais consistentes, precisas do que àquelas dadas na versão familiar da AEFE.

Isto posto, a etapa de Análise Fatorial Exploratória foi realizada com a configuração previamente exposta na seção de Análise. O teste de Bartlett foi significativo e o KMO foi de 0.97. O gráfico de sedimentação abaixo apresenta o resultado da Análise Paralela da AEFE - Versão pais.

## Parallel analysis suggests that the number of factors =  14  and the number of components =  NA

Pela análise gráfica, é possível verificar que a partir de 3 dimensões em diante os modelos já preenchem tornam-se adequados à exploração detalhada. Dessa maneira, os índices de ajuste foram computados para cada modelo e a comparação foi realizada pela estatística de diferença Qui-quadrado. A Tabela a seguir apresenta os resultados.

O modelo com três dimensões reúne características teóricas e estatísticas adequadas, já que tanto os índices de ajuste quanto a interpretabilidade dos fatores são contextualizadas ao modelo proposto pelo BRIEF (Gioia et al. 2000). Visando a confirmação dessa estrutura, uma parte da base foi aleatoriamente selecionada para testar a hipótese dimensional.

Os resultados apontam que o modelo tem excelentes características psicométricas e pode ser aceito: X2(1649) = 4245.23, CFI = 0.97, TLI = 0.97, RMSEA = 0.05, SRMR = 0.07. A Tabela a seguir apresenta as propriedades psicométricas da escala. A fidedignidade de cada dimensão também foi adequada pela consistência interna dos resultados a partir do Coeficiente Alfa de Cronbach e Ômega de Mcdonald. A dimensão Metacognição 1 teve valor 0.92 e 0.9 respectivamente. Metacognição 2 teve 0.89 e 0.85 e Regulação teve 0.93 e 0.91 respectivamente. Como um todo, essa escala teve Alfa de 0.96 e Ômega de 0.95.

Cargas fatoriais e outros coeficientes psicométricos)
Dimensão Item Conteúdo B SE Z p-valor Beta
MetaCog1 y12 É bagunceiro, não consegue manter organizado seu quarto, armário ou mesa de estudo. 1.00 0.000 NA NA 0.63
MetaCog1 y26 Larga suas roupas espalhadas pela casa. 1.11 0.057 19.3 0 0.69
MetaCog1 y8 Deixa a luz acesa, a porta aberta ou a toalha molhada em cima da cama mesmo depois de ter sido orientado várias vezes. 0.99 0.059 16.8 0 0.62
MetaCog1 y1 -Empurra seus deveres com a barriga-, deixa tudo para a última hora: 1.00 0.062 16.1 0 0.63
MetaCog1 y17 É preguiçoso. 0.98 0.059 16.7 0 0.61
MetaCog1 y20 Esquece de levar as tarefas e trabalhos para a escola, mesmo tendo feito os mesmos. 1.00 0.071 14.0 0 0.62
MetaCog1 y10 Demora demais em tarefas como tomar banho, se trocar e tomar as refeições. 0.89 0.064 13.8 0 0.56
MetaCog1 y47 Perde seus pertences ou esquece onde os guardo 1.05 0.065 16.3 0 0.66
MetaCog1 y48 Quando solicitado para ir fazer algo esquece o que deveria fazer. 1.02 0.064 16.0 0 0.64
MetaCog1 y16 É preciso repetir várias vezes para obedecer a ordens. 1.25 0.065 19.2 0 0.78
MetaCog1 y46 Perde prazos para a entrega de deveres ou cumprir outros compromissos. 1.07 0.071 15.1 0 0.67
MetaCog1 y60 Tem dificuldade de se aprontar para a escola a tempo e acaba se atrasando se ninguém ficar -em cima- dele (dela). 0.84 0.066 12.7 0 0.52
MetaCog1 y55 Se pedir para que ele (a) busque três coisas em algum lugar esquece de trazer alguma delas. 0.85 0.066 12.9 0 0.54
MetaCog1 y6 Chega sempre atrasado aos compromissos. 0.88 0.079 11.1 0 0.55
MetaCog1 y7 Comete erros por descuido. 1.01 0.068 14.8 0 0.63
MetaCog1 y57 Seus cadernos, agendas e apostilas estão sempre desorganizados. 0.73 0.065 11.3 0 0.46
MetaCog1 y62 Tem dificuldade de se manter concentrado em tarefas escolares e na sala de aula. 1.01 0.066 15.4 0 0.63
MetaCog1 y27 Mesmo sabendo a resposta, erra questões por descuido, impulso ou desatenção 1.13 0.064 17.6 0 0.71
MetaCog1 y2 -A ficha demora a cair-, demora para entender as coisas 1.12 0.068 16.4 0 0.70
Regulacao y21 Explode quando é contrariado (a). 1.00 0.000 NA NA 0.75
Regulacao y23 Fica nervoso (a) à toa. 0.99 0.039 25.6 0 0.75
Regulacao y19 É -cabeça dura-, tem que ser tudo do seu jeito, não é flexível. 0.95 0.041 23.0 0 0.71
Regulacao y52 Resiste em aceitar uma forma alternativa de resolver um problema, não é flexível, -tem que ser do seu jeito-. 0.87 0.043 20.2 0 0.66
Regulacao y28 Muda de humor com facilidade e à toa. 0.96 0.040 24.2 0 0.72
Regulacao y3 -Faz tempestade em copo d’água-, reage excessivamente a pequenos problemas. 0.91 0.045 20.2 0 0.69
Regulacao y4 É atirado, age sem pensar, tem dificuldade de controlar seu comportamento e reações 1.03 0.040 25.5 0 0.77
Regulacao y50 Quer fazer graça e chamar atenção dos outros a todo o momento. 0.85 0.045 18.8 0 0.64
Regulacao y45 Perde o controle mais facilmente que os outros de sua idade. 0.97 0.042 23.0 0 0.73
Regulacao y24 Fica transtornado (a) com mudança de planos ou situações novas para ele (ela). 0.85 0.044 19.3 0 0.64
Regulacao y25 Interrompe os outros, não sabe esperar sua vez para falar. 0.87 0.047 18.6 0 0.66
Regulacao y22 Fala demais. 0.71 0.050 14.1 0 0.54
Regulacao y18 É repetitivo, fala ou pede a mesma coisa repetidas vezes 0.83 0.045 18.6 0 0.62
Regulacao y54 Frustra-se e chora com facilidade. 0.80 0.044 18.0 0 0.60
Regulacao y59 Tem dificuldade de esperar sua vez 0.90 0.046 19.4 0 0.67
Regulacao y14 É excessivamente inquieto, não pa 0.93 0.044 21.0 0 0.70
Regulacao y42 Não tolera frustração, não aceita quando algo que quer dá errado. 0.68 0.050 13.5 0 0.51
Regulacao y11 É atirado, se envolve em situações de risco. 0.70 0.058 12.1 0 0.53
Regulacao y53 Apega-se a detalhes sem importância e não percebe -o todo-. 0.89 0.047 19.0 0 0.67
Regulacao y58 Seus momentos de raiva e choro são intensos, mas terminam logo. 0.59 0.052 11.2 0 0.44
Regulacao y32 Não é capaz de adiar recompensas, prefere ganhar cinco reais hoje do que esperar uma semana para ganhar dez reais. 0.68 0.052 13.0 0 0.51
Metacog2 y30 Não consegue prestar atenção a videogames ou jogos de computador por tempo prolongado. 1.00 0.000 NA NA 0.52
Metacog2 y41 Não tem criatividade para resolver problemas do dia a dia. 1.00 0.108 9.3 0 0.52
Metacog2 y31 Não é bom (boa) na resolução de problemas sem a ajuda de uma outra pessoa. 1.28 0.116 11.1 0 0.66
Metacog2 y29 Não consegue prestar atenção a filmes ou desenhos por tempo prolongado. 1.03 0.091 11.3 0 0.53
Metacog2 y35 Não percebe bem seu desempenho, sai de uma prova achando que foi muito bem quando, na verdade, foi muito mal. 1.22 0.115 10.6 0 0.63
Metacog2 y38 Não sabe -se virar- em situações novas ou quando está diante de um problem 1.15 0.114 10.0 0 0.59
Metacog2 y37 Não vai até o fim no que começa, diante de uma dificuldade logo desiste. 1.45 0.131 11.1 0 0.75
Metacog2 y40 Não tem boa noção do tempo necessário para realizar uma determinada tarefa. 0.95 0.107 8.9 0 0.49
Metacog2 y13 Não é capaz de avaliar se resolveu bem um problema 1.04 0.115 9.0 0 0.54
Metacog2 y43 Necessita da ajuda de um adulto para finalizar uma atividade. 1.15 0.112 10.3 0 0.60
Metacog2 y44 Para iniciar uma atividade precisa de um -empurrão-, alguém que tome a iniciativa por ele (a). 1.40 0.131 10.6 0 0.72
Metacog2 y9 Demora para entender piadas. 1.13 0.114 9.9 0 0.58
Metacog2 y33 Não faz uma checagem final das suas tarefas ou atividades em busca de possíveis erros 0.79 0.093 8.5 0 0.41
Metacog2 y39 Não sabe guardar segredo 0.52 0.090 5.7 0 0.27
Metacog2 y65 Entende as coisas ao pé da letra, tem dificuldade de entender expressões de duplo sentido como -pisar na bola, empurrar com a barriga-. 0.81 0.098 8.3 0 0.42
Metacog2 y34 Não pensa antes de falar ou agir. 1.08 0.102 10.7 0 0.56
Metacog2 y36 Não percebe que seu comportamento está incomodando outras pessoas 0.97 0.110 8.8 0 0.50
Metacog2 y56 Se você combina de apanhá-lo (a) em determinado horário ele (a) nunca fica pronto no horário programado. 0.76 0.101 7.5 0 0.39
Metacog2 y5 Ao falar não conclui um assunto e já passa para outro. 1.27 0.128 9.9 0 0.66

É importante notar algumas características desses resultados. As três dimensões tem um perfil forte correlacional. A dimensão Meta cogniçao 1 se correlaciona em 0,79 (p < 0.01) com a Meta cognição 2 e em 0,75 com a Regulação. Já a dimensão Meta cognição 2 se correlaciona com a Regulação em 0,65 (p < 0.01). Arruda, isso indica que as FEs são muito interligadas. O item 16 (“É preciso repetir várias vezes para obedecer a ordens”) foi o mais discriminativo da dimensão Meta Cognição 1 (λ = 0,78, p < 0,01), enquanto o item 57 (“Seus cadernos, agendas e apostilas estão sempre desorganizados” foi o menos (λ = 0,46, p < 0,01). Em relação à dimensão “Meta Cognição 2*, O item 37 (“Não vai até o fim no que começa, diante de uma dificuldade logo…”) foi o mais discriminativo (λ = 0.78, p < 0.01), enquanto o item 39 (“Não sabe guardar segredo”) foi o menos discriminativo dessa dimensão (λ = 0,27, p < 0,01). No que se refere à dimensão “Regulação”, o item 4 (“É atirado, age sem pensar, tem dificuldade de controlar seu compo”) foi o mais discriminativo (λ = 0,77, p < 0,01) e o item 58 (“Seus momentos de raiva e choro são intensos, mas terminam logo.”) foi o menos (λ = 0,44, p < 0,01). arruda, por quais motivos?

A Análise Paralela foi também realizada à escala respondida pelos professores (Imagem x), que teve Bartlett significativo e O teste de Bartlett foi significativo e KMO foi de 0.98. A análise gráfica permitiu modelar soluções até 5 dimensões e os índices de ajuste foram obtidos.

## Parallel analysis suggests that the number of factors =  8  and the number of components =  NA

Os resultados do modelo com duas dimensões apresentam-se estatisticamente adequados e oferecem também uma interpretação convergente à teoria de base. Dessa maneira, a escala dos professores teve sua estrutura fatorial testada pela AFC preservando a configuração previamente descrita. Os resultados de ajuste foram adequados à estrutura dimensional proposta.

X2(1273) = 6524.03, CFI = 0.99, TLI = 0.99, RMSEA = 0.09, SRMR = 0.09. A Tabela a seguir apresenta as propriedades psicométricas da escala. A fidedignidade de cada dimensão também foi adequada pela consistência interna dos resultados a partir do Coeficiente Alfa de Cronbach e Ômega de Mcdonald. A dimensão Metacognição 1 teve valor 0.98 e 0.97 respectivamente. Metacognição 2 teve 0.89 e 0.98 e Regulação teve 0.98 e 0.96 respectivamente. Como um todo, essa escala teve Alfa de 0.99 e Ômega de 0.98. A Tabela apresenta os resultados encontrados.

Cargas fatoriais e outros coeficientes psicométricos)
Dimensão Item Conteúdo B SE Z p-valor Beta
MetaCog i23 Tem dificuldade para finalizar tarefas e atividades. 1.00 0.000 NA NA 0.90
MetaCog i14 Tem dificuldade de realizar tarefas que exigem mais de uma etapa para sua execução. 0.98 0.016 60 0 0.88
MetaCog i17 Necessita da ajuda e monitoramento do professor para perseverar e terminar uma atividade. 0.99 0.017 58 0 0.89
MetaCog i9 Não mostra criatividade para resolver problemas. 0.85 0.025 33 0 0.77
MetaCog i19 Para iniciar uma atividade precisa de um “empurrão”, alguém que tome a iniciativa para ele. 0.98 0.018 55 0 0.89
MetaCog i30 Não sabe procurar fontes adequadas para realizar uma tarefa. 0.97 0.017 58 0 0.88
MetaCog i38 Não toma iniciativa 0.85 0.024 35 0 0.77
MetaCog i49 Não termina a atividade em tempo. 0.96 0.018 54 0 0.87
MetaCog i43 Tem dificuldade de pensar em um jeito diferente de resolver um problema. 0.88 0.023 39 0 0.79
MetaCog i21 Deixa tarefas de casa e atividades de sala de aula incompletas. 0.99 0.016 64 0 0.90
MetaCog i25 Não tem boa noção do tempo necessário para realizar determinada tarefa. 0.96 0.017 56 0 0.87
MetaCog i8 Tem dificuldades para se concentrar em tarefas e trabalhos escolares. 1.00 0.016 61 0 0.90
MetaCog i52 Não compreende instruções simples. 0.90 0.026 34 0 0.81
MetaCog i36 Não faz anotações adequadas. 0.95 0.020 47 0 0.85
MetaCog i32 Não tenta resolver um problema antes de pedir ajuda ao professor. 0.92 0.020 45 0 0.83
MetaCog i37 Tem dificuldade para lembrar das coisas, mesmo após poucos minutos. 0.87 0.027 32 0 0.79
MetaCog i48 Tem dificuldade de se manter concentrado por tempo mais prolongado. 0.96 0.020 47 0 0.86
MetaCog i13 Esquece de levar tarefas de casa e trabalhos para a escola, mesmo tendo feito eles. 0.88 0.024 36 0 0.80
MetaCog i46 Mesmo sabendo a resposta, erra questões nas provas por descuido, impulso ou desatenção. 0.91 0.022 42 0 0.82
MetaCog i6 Não faz uma checagem final das suas tarefas ou provas 0.85 0.027 31 0 0.77
MetaCog i7 Tem boas ideias, mas não consegue organizá-las, planejá-las, colocá-las no papel. 0.77 0.032 24 0 0.69
MetaCog i10 Se você pede três coisas para ele buscar, esquece de alguma. 0.81 0.032 26 0 0.73
MetaCog i15 Não pede ajuda quando precisa. 0.72 0.035 21 0 0.65
MetaCog i1 Não consegue avaliar adequadamente seu desempenho, sai de uma prova achando que foi muito bem quando, na verdade, foi muito mal. 0.84 0.027 31 0 0.75
MetaCog i29 Inicia suas tarefas “no último minuto”, “deixa para a última hora 0.99 0.020 50 0 0.90
MetaCog i4 Não traz tarefas de casa. 0.85 0.029 29 0 0.77
MetaCog i18 Se apega a detalhes sem importância e não percebe o todo (“vê a árvore mas não a floresta”). 0.88 0.027 32 0 0.79
MetaCog i12 É facilmente distraído por sons e outros estímulos. 0.96 0.019 50 0 0.86
MetaCog i33 Tem dificuldade de perceber suas habilidades e fraquezas. 0.94 0.022 43 0 0.84
MetaCog i39 Não encontra o que precisa na sala de aula ou na sua carteira. 0.89 0.027 33 0 0.80
MetaCog i47 É desleixado nos trabalhos e na caligrafia. 0.86 0.028 30 0 0.78
MetaCog i3 Perde o lanche, o dinheiro do lanche ou as tarefas de casa. 0.96 0.027 35 0 0.86
Regulacao i26 Interrompe os outros, não aguarda sua vez para falar. 1.00 0.000 NA NA 0.89
Regulacao i45 Tem dificuldade de esperar sua vez. 1.00 0.017 59 0 0.90
Regulacao i42 Explode quando fica contrariado (a). 0.90 0.026 35 0 0.80
Regulacao i28 Perde o controle mais do que os outros alunos. 1.00 0.021 48 0 0.89
Regulacao i2 “Faz tempestade em copo d’água”, reage excessivamente a pequenos problemas. 0.92 0.026 35 0 0.82
Regulacao i27 Sai do seu lugar quando se espera que fique sentado. 0.95 0.022 43 0 0.85
Regulacao i34 Fala e brinca de forma barulhenta e nos momentos errados. 0.98 0.023 43 0 0.88
Regulacao i16 Muda de humor com facilidade e à toa. 0.93 0.026 36 0 0.83
Regulacao i50 É repetitivo, fala e pede repetidamente a mesma coisa. 0.90 0.031 29 0 0.81
Regulacao i5 Fica transtornado com mudança de planos. 0.86 0.031 28 0 0.77
Regulacao i24 Não aceita desapontamentos nem repreensões. 0.91 0.025 36 0 0.81
Regulacao i22 Não pensa antes de falar ou agir. 0.95 0.024 39 0 0.85
Regulacao i20 Não percebe que seu comportamento está incomodando outras pessoas. 0.91 0.028 33 0 0.81
Regulacao i41 Não pensa nas consequências dos seus atos. 0.97 0.022 44 0 0.86
Regulacao i35 Tem problemas quando não é supervisionado por um adulto. 0.98 0.024 41 0 0.87
Regulacao i44 Deixa tudo bagunçado e os outros precisam arrumar. 1.07 0.022 48 0 0.96
Regulacao i40 Larga seus pertences espalhados por onde anda, pela sala de aula e escola. 1.02 0.024 43 0 0.91
Regulacao i31 Resiste ou tem dificuldade em aceitar uma forma alternativa de resolver uma tarefa ou trabalhos escolares, “tem que ser do seu jeito”. 0.92 0.030 31 0 0.81
Regulacao i51 É desastrado com seus pertences, canetas, lápis, borrachas caem no chão a todo momento. 1.05 0.022 47 0 0.94
Regulacao i11 A carteira (mesa de trabalho) é desorganizada. 0.99 0.031 32 0 0.89

Contatou-se que as duas dimensões apresentaram um perfil correlacional forte e proporcional (r = 0.773, p < 0.01). O item 23 (“Tem dificuldade para finalizar tarefas e atividades.”) foi o mais discriminativo em relação à Metacognição (λ = 0.90, p < 0,01) e o item 26 (“Interrompe os outros, não aguarda sua vez para falar.”) foi o mais discriminativo da dimensão Regulação (λ = 0.89, p < 0.01).

É importante notar algumas características desses resultados. As três dimensões tem um perfil forte correlacional. A dimensão Meta cogniçao 1 se correlaciona em 0,79 com a Meta cognição 2 e em 0,75 com a Regulação. Já a dimensão Meta cognição 2 se correlaciona com a Regulação em 0,65. Arruda, isso indica que as FEs são muito interligadas. O item 16 (“É preciso repetir várias vezes para obedecer a ordens”) foi o mais discriminativo da dimensão Meta Cognição 1, enquanto o item 57 (“Seus cadernos, agendas e apostilas estão sempre desorganizados” foi o menos. Em relação à dimensão “Meta Cognição 2*, O item 37 (“Não vai até o fim no que começa, diante de uma dificuldade logo…”) foi o mais discriminativo, enquanto o item 39 (“Não sabe guardar segredo”) foi o menos discriminativo dessa dimensão. No que se refere à dimensão “Regulação”, o item 4 (“É atirado, age sem pensar, tem dificuldade de controlar seu compo”) foi o mais discriminativo e o item 58 (“Seus momentos de raiva e choro são intensos, mas terminam logo.”) foi o menos. arruda, por quais motivos?

An important method to access aspects of test validity is the “Known-Groups” Method. Within this procedure, the test validity is seen as its scores discriminate across groups that are theoretically known to differ. The confirmatory sample (n = 650) was used to get information about its means and standard deviation to compare these results with the ones computed from the ADHD sample (n = 165).

An independent T-test revealed a significant difference between the groups in all domains accessed. MetaCognition was higher for ADHD participants (M = 24.95 , SD = 6.63 vs 13.62, SD = 7.11, p = 1.2210^{-52}), so do for Regulation (M = 28.28 , SD = 7.9 vs 16.77, SD = 8.6, p = 1.5810^{-42}), and Meta Cognition 2 (M = 21.75 , SD = 6.51 vs 13.35, SD = 6.39, p = 2.9510^{-36}).

The following images show the densities differences between AHDH vs. non-ADHD participants. As previously explained, the higher the result, the higher the risk for any of these executive funcions problems.

The same pattern of results were found with regard to scales replied by the school teachers. Metacognition results were higher in the adhd group (M = 43.81, sD = 13.15) than non-adhd group (M = 16.74, sD = 14.62) (t(303.03) = 22.41, p < 0.01), and Regulation results were also higher in the adhd group (M = 43.81, sD = 13.15) than non-adhd group (M = 16.74, sD = 14.62) (t(250.61) = 20.59, p < 0.01).

The graph below show the density of the results.

Academic performance is an useful index about children’s EFs and it was also used to check wether the results gathered through both scales would differentiate the participants. The Performance group was formed of three cattegories: low, average, and high and ANOVA tests with pairwise comparisons were performed. P-values were adjusted with Bonferroni Method.

Within the Parents’ and Teacher’s questionnaire, as expected, the children in the low-performance group scored higher on all scales than their peers: Parent’s MetaCognition 1 (F(2,pval_pais_tct_metacog1$Df[3]), = 114.84, p-value = 6.310^{-49}), Parent’s Regulation (F(2,pval_pais_tct_regulacao$Df[3]), = 48.15, p-value = 2.4710^{-21}), Parent’s Metacognition 2 (F(2,pval_pais_tct_metacog2$Df[3]), = 149.34, p-value = 8.6210^{-63}), Teacher’s Metacognition (F(2,pval_profs_tct_metacog$Df[3]), = 1078.68, p-value = 0), and Teacher’s regulation (F(2,pval_profs_tct_regulacao$Df[3]), = 204.02, p-value = 3.1910^{-84}).

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name            grob
## 1 1 (1-1,1-1) arrange gtable[arrange]
## 2 2 (1-1,2-2) arrange gtable[arrange]

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name            grob
## 1 1 (1-1,1-1) arrange gtable[arrange]
## 2 2 (1-1,2-2) arrange gtable[arrange]

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name            grob
## 1 1 (1-1,1-1) arrange gtable[arrange]
## 2 2 (1-1,2-2) arrange gtable[arrange]

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name            grob
## 1 1 (1-1,1-1) arrange gtable[arrange]
## 2 2 (1-1,2-2) arrange gtable[arrange]

## TableGrob (1 x 2) "arrange": 2 grobs
##   z     cells    name            grob
## 1 1 (1-1,1-1) arrange gtable[arrange]
## 2 2 (1-1,2-2) arrange gtable[arrange]

A set of analyzes were performed aiming at exploring the relationship between the EFs and the results of the Strengths and Difficulties Questionnaire (SDQ). For this last questionnaire, two groups were formed: “Children facing difficulties” (1) and “Children without difficultiest” (0). T tests were used to acess the group differentes in all domains.

The results yielded a statistical difference in all domains explored. Children facing difficulties have had on parent’s Questionnaire a higher score on Meta Cognition 1 problems (19.59, SD = 6.7), than their peers (11.88, SD = 6.34) (t(1353.56) = 28.97, p = 5.5310^{-144}).

Children facing difficulties have had on parent’s Questionnaire a higher score on Regulation (24.23, SD = 6.7), than their peers (13.9, SD = 7.46) (t(1408.4) = 34.18, p = 5.910^{-187}).

Also, children facing difficulties have had on parent’s Questionnaire a higher score on Meta Cognition 2 (17.35, SD = 5.8), than their peers (11.78, SD = 5.83) (t(1425.19) = 23.82, p = 8.2110^{-106}).

In general, the results from teachers’ questionnaires agreed with the Parent’s. On the Meta cognition domain, higher scores were found in children’s facing difficulties (23.26, SD = 16.1), than their peers (15.95, SD = 14.22) (t(1284.03) = 11.6, p = 1.2110^{-29}).

On Regulation, the same pattern was found: children’s facing difficulties had higher results (10.38, SD = 9.8), than their peers (6.58, SD = 7.87) (t(1202.24) = 10.07, p = 5.6710^{-23}).

Overall, the EFs problems can impact children’s everyday activities. To further explore this condition, two groups were formed on the basis of (arruda, variavel continua aqui) contrasting children having a negative impact (n = 1362) on dayly activities from their peers with no impact on these activities (n = 1922). All comparisons were statistically significant: Parent’s Meta Cognition 1 (t(2771.91) = 21.85, p = 8.6410^{-98}), Parent’s Regulation (t(2805.4) = 21.63, p = 4.7710^{-96}),

Discussion

References

Bustamante Carim, Daniela de, Monica C. Miranda, and Orlando F. Amodeo Bueno. 2012. “Tradução E Adaptação Para O Português Do Behavior Rating Inventory of Executive Function - BRIEF.” Psicologia: Reflexão E Crítica 25 (4). FapUNIFESP (SciELO): 653–61. doi:10.1590/s0102-79722012000400004.

Furr, R. Michael. 2011a. Scale Construction and Psychometrics for Social and Personality Psychology. SAGE Publications Ltd. doi:10.4135/9781446287866.

———. 2011b. Scale Construction and Psychometrics for Social and Personality Psychology. doi:10.4135/9781446287866.

Gioia, Gerard A., Peter K. Isquith, Steven C. Guy, and Lauren Kenworthy. 2000. “TEST REVIEW Behavior Rating Inventory of Executive Function.” Child Neuropsychology 6 (3). Informa UK Limited: 235–38. doi:10.1076/chin.6.3.235.3152.

Hattie, John, and Ray W. Cooksey. 1984. “Procedures for Assessing the Validities of Tests Using the ‘Known-Groups’ Method.” Applied Psychological Measurement 8 (3). SAGE Publications: 295–305. doi:10.1177/014662168400800306.

Hu, Li-tze, and Peter M. Bentler. 1999. “Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria Versus New Alternatives.” Structural Equation Modeling: A Multidisciplinary Journal 6 (1). Informa UK Limited: 1–55. doi:10.1080/10705519909540118.

Nunnally, & Bernstein, J. C. 1994. Psychometric Theory. Third. New York, NY: McGraw-Hill, Inc.

R Core Team. 2018. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

Revelle, William. 2018. Psych: Procedures for Psychological, Psychometric, and Personality Research. Evanston, Illinois: Northwestern University. https://CRAN.R-project.org/package=psych.

Rosseel, Yves. 2012. “lavaan: An R Package for Structural Equation Modeling.” Journal of Statistical Software 48 (2): 1–36. http://www.jstatsoft.org/v48/i02/.

Suh, Youngsuk. 2015. “The Performance of Maximum Likelihood and Weighted Least Square Mean and Variance Adjusted Estimators in Testing Differential Item Functioning with Nonnormal Trait Distributions.” Structural Equation Modeling: A Multidisciplinary Journal 22 (4). Informa UK Limited: 568–80. doi:10.1080/10705511.2014.937669.

Wickham, Hadley. 2017. Tidyverse: Easily Install and Load the ’Tidyverse’. https://CRAN.R-project.org/package=tidyverse.

Zio, Marco Di, and Ugo Guarnera. 2008. “Semiparametric Predictive Mean Matching.” AStA Advances in Statistical Analysis 93 (2). Springer Nature: 175–86. doi:10.1007/s10182-008-0081-2.