Resumo

Backgroud: As Funções Executivas (FEs) compõem um conjunto de habilidades de alta ordem que envolvem, mas não se limitam, a memória de trabalho, o controle inibitório, e a flexibilidade cognitiva. O estudo das FEs pode ser feito por escalas aplicadas a pais e professores e o Behavior Rating Inventory of Executive Function (BRIEF) tem se mostrado um instrumento de grande potencial à clínica e à pesquisa. No entanto, ainda há uma carência de estudos sobre suas propriedades psicométricas com amostras de participantes brasileiros. Objetivo: Investigar aspectos de validade e fidedignidade do BRIEF, possibilitando tanto explorar sua estrutura dimensional como testar hipóteses confirmatórias. Método: <Arruda, aqui vem participantes e procedimento>. A análise de dados contou com etapas Exploratória e Confirmatórias. Um modelo oblíquo de três dimensões para os dados obtidos pela Escala dos pais e outro de duas dimensões à Escala dos professores foram testados contando com a extração fatorial utilizado o método dos Mínimos Quadrados Ponderados Robustos (WLSMV) com uso de matrizes de correlação policórica. Resultados: Os resultados concluíram favoravelmente a uma estrutura fatorial com três dimensões na Escala aplicada aos pais (χ2(1649) = 4245.23, CFI = 0.97, TLI = 0.97, RMSEA = 0.05, SRMR = 0.07) e duas dimensões na Escala dos professores (χ2 (1273) = 6524.03, CFI = 0.99, TLI = 0.99, RMSEA = 0.09, SRMR = 0.09). A fidedignidade de ambas as escalas e suas dimensões foi superior a 0.7 tanto no Coeficiente Alfa de Cronbach como Ômega de Mcdonald. Conclusão: Palavras-chave: Funções Executivas, Desenvolvimento cognitivo, Psicometria, Validade, BRIEF

Methods

Participants

Measures

Procedures

Statistical analysis

Different steps of the data analysis process were carried out in order to achieve the aims proposed in the present research. Initially, the dataset was explored as a whole aiming at finding the presence of inconsistencies and missing data. Multiple imputation procedure via Predictive Mean Matching (PMM) was used for cases in which variables were quantitative and missing values were lower or equal than 5%. Observations in which missing values were higher than this threshold were not included in the analyzes (Vink et al. 2014; Zio and Guarnera 2008).

To investigate the psychometric properties of both scales, the dataset composed of typical children was used (n = 3284). Following academic recommendations, this dataset was randomly split into two samples so that exploratory analyses could be conducted on one-half of the sample and the confirmatory analyses could be conducted on the second half.

Before performing an Exploratory Factor Analysis (EFA), the results of the Kaiser Meyer Olkin (KMO) and Bartlett’s test were interpreted. A sample is deemed adequate if the value of KMO is greater than 0.5, in addition to a significant result of Bartlett’s Test of Sphericity. This latter result indicates that the matrix is not an identity matrix and, therefore, is suitable for EFA.

Next, the EFA was performed to identify the latent dimensions of the scales. All items were treated as ordered categorical, and the estimator was the Weighted Least Squares Means and Variance adjusted (WLSMV), once it makes no distributional assumptions about the observed variables (Suh 2015). Models with 2-5 oblique dimensions were estimated.

The decision of how many factors to retain is a critical component of Factor Analysis procedures. In this research, the results of the eigenvalues scree-plot and the parallel analysis’s were analyzed. After that, the Confirmatory Factor Analysis (CFA) was performed in the solution with both adequate interpretability and Goodness-of-Fit. Because in CFA, constraints are implemented, whereas in EFA has all indicators load on all factors, the CFA fit tends to be poorer than the ones achieved by EFA.

That said, the CFA solution was evaluated and considered appropriate if 1. it showed a clear and meaningful interpretation, 2. the Comparative Fit Index (CFI) or the Tucker-Lewis index higher or equal than 0.9, 3. the Root Mean Square Error of Approximation (RMSEA) or the Standardized Root Mean Square Residual (SRMR) were less than 0.1, and 4. each dimension had 3 items or more (Furr 2011a; Hu and Bentler 1999).

The academic performance was assessed using the overall scores achieved Arruda, contigo, the Strengths and Difficulties were accessed by the Strengths and Difficulties Questionnaire (SDQ), and the negative impact daily life activities was accessed via Arruda contigo. Because all questionnaires aim at metrifying FEs problems, it was predicted that groups consisting of low-performing children, high difficulties and negative impacts would have higher results on all scales. This hypothesis was explored through ANOVA and pairwise comparisons of mean with results adjusted for multiple testing using the Bonferroni procedure.

Finally, to explore construct validity and clinical utility of both scales, the known-groups method was used. From a sample of 165 children previously diagnosed with ADHD, independent T-tests between ADHD and non-ADHD groups was carried out in all domains investigated by both scales. This technique is seen as part of the construct validity and checks the extent to which a measure predicted different results between groups that are theoretically known to differ (Hattie and Cooksey 1984).

Analyses were performed in R 3.5.1 (R Core Team 2018), with tidyverse (Wickham 2017), lavaan (Rosseel 2012), and psych packages (Revelle 2018).

Ethical Considerations

Results

Inicialmente, a base foi explorada em busca de dados ausentes. Essa etapa é fundamental não somente para mapear a consistência dos dados, mas para proceder com uma imputação dos valores caso isso seja necessário. Tanto a AEFE versão professores, quanto a versão pais tiveram uma quantidade de dados ausentes menor do que 5% e sem nenhuma evidência de perdas com padrões. Os gráficos a seguir apresentam ambos os resultados.

O padrão de resposta também foi analisado. Isso é útil para verificar se a porcetagem de utilização das categorias das escalas, bem como se houve codificação incorreta durante o processo de imputação de dados. A tabela a seguir apresenta a frequência de resposta em cada categoria disponível.

Por sua vez, o gráfico a seguir também apresenta tais resultados.

Resultados descritivos e psicométricos de cada um dos itens que compõem a escala foram computados. A confiabilidade de um instrumento psicológico (reliability) se refere à capacidade que ele tem de medir com precisão, consistência e estabilidade ao longo do tempo o constructo que ele se propõe a medir. Em outras palavras, é sua capacidade de produzir os mesmos resultados quando aplicado em um mesmo sujeito em diferentes ocasioões ou em uma única ocasião com dois observadores distintos (Furr 2011b). Em relação à Confiabilidade dos dados, o Coeficiente Alpha de Cronbach e o Coeficiente Ômega de Mcdonald indicam o quão consistente são os dados e valores acima de 0.7 são considerados adequados. A correlação item-total é também uma métrica que auxilia a verificar essa consistência interna, uma vez que indica a força e a direção que cada item se correlaciona com a pontuação total. Resultados iguais ou acima de 0.3 são aceitáveis quando sabe-se da unidimensionalidade do instrumento. Quando o instrumento não é unidimensional, esses resultados são relaxados (Nunnally 1994).

A Tabela (#) apresenta os resultados da AEFE versão pais.

Tabela x. Resultados descritivos da AEFE – versão Pais
item Média DP Cor item-total Alfa se deletado
1 0.65 0.67 0.47 0.95
2 0.63 0.62 0.50 0.95
3 0.72 0.67 0.53 0.95
4 0.55 0.66 0.59 0.95
5 0.42 0.60 0.48 0.95
6 0.27 0.50 0.35 0.95
7 0.83 0.52 0.48 0.95
8 1.08 0.71 0.53 0.95
9 0.56 0.61 0.41 0.95
10 0.96 0.76 0.48 0.95
11 0.39 0.60 0.41 0.95
12 0.91 0.73 0.50 0.95
13 0.69 0.60 0.45 0.95
14 0.78 0.73 0.54 0.95
15 0.90 0.68 0.54 0.95
16 1.08 0.73 0.64 0.95
17 0.83 0.65 0.49 0.95
18 0.84 0.74 0.54 0.95
19 0.80 0.72 0.56 0.95
20 0.32 0.54 0.44 0.95
21 0.88 0.71 0.55 0.95
22 1.17 0.71 0.44 0.95
23 0.88 0.71 0.56 0.95
24 0.70 0.68 0.54 0.95
25 0.90 0.70 0.54 0.95
26 1.00 0.74 0.51 0.95
27 0.78 0.61 0.51 0.95
28 0.70 0.68 0.53 0.95
29 0.44 0.67 0.33 0.95
30 0.38 0.64 0.28 0.95
31 0.73 0.62 0.46 0.95
32 0.83 0.78 0.45 0.95
33 0.83 0.70 0.28 0.95
34 0.86 0.64 0.45 0.95
35 0.57 0.63 0.43 0.95
36 0.77 0.68 0.41 0.95
37 0.69 0.68 0.56 0.95
38 0.81 0.63 0.42 0.95
39 0.88 0.74 0.28 0.95
40 0.84 0.66 0.41 0.95
41 0.70 0.67 0.37 0.95
42 0.92 0.68 0.46 0.95
43 0.94 0.62 0.45 0.95
44 0.77 0.71 0.55 0.95
45 0.53 0.66 0.55 0.95
46 0.35 0.56 0.47 0.95
47 0.83 0.68 0.53 0.95
48 0.59 0.63 0.51 0.95
49 0.96 0.65 0.32 0.95
50 0.77 0.71 0.51 0.95
51 1.06 0.65 0.04 0.95
52 0.83 0.70 0.53 0.95
53 0.65 0.63 0.50 0.95
54 0.89 0.75 0.48 0.95
55 0.62 0.67 0.43 0.95
56 0.60 0.70 0.33 0.95
57 0.72 0.74 0.41 0.95
58 0.98 0.74 0.34 0.95
59 0.85 0.68 0.54 0.95
60 0.75 0.79 0.45 0.95
61 0.69 0.75 0.41 0.95
62 0.70 0.67 0.50 0.95
63 0.40 0.60 0.49 0.95
64 0.98 0.68 0.17 0.95
65 0.81 0.66 0.34 0.95

Esses resultados indicam que todos os itens tem relação positiva com a pontuação total. Entretanto, os itens 30 (Não consegue prestar atenção a videogames ou jogos de computador por tempo prolongado), 33 (Não faz uma checagem final das suas tarefas ou atividades em busca de possíveis erros) e 39 (Não sabe guardar segredo) foram inferiores, porém próximos, a 0.3 e os itens 51 (Reconhece que tem um problema a resolver) e 64 (Tenta resolver o problema do seu jeito, antes de pedir ajuda a alguém) tiveram baixa correlação item-total.

O Alfa total desse questionário foi de 0.95 e o Ômega de Mcdonald foi de omega(ife_65_c)$omega.tot indicando que a consistência interna dos dados está preservada. Esse resultado é similar ao encontrado no estudo original (Gioia et al. 2000, 236) e no estudo exploratório previamente realizado no Brasil (Bustamante Carim, Miranda, and Bueno 2012).

A Tabela a seguir realiza as mesmas apresentações descritivas para a AEFE versão professores.

Tabela x. Resultados descritivos da AEFE – versão Professores
item Média DP Cor item-total Alfa se deletado
1 0.65 0.65 0.66 0.98
2 0.36 0.59 0.57 0.98
3 0.25 0.50 0.61 0.98
4 0.53 0.66 0.60 0.98
5 0.31 0.53 0.57 0.98
6 0.78 0.68 0.62 0.98
7 0.69 0.64 0.60 0.98
8 0.65 0.69 0.79 0.98
9 0.66 0.66 0.67 0.98
10 0.47 0.61 0.61 0.98
11 0.34 0.59 0.65 0.98
12 0.82 0.69 0.73 0.98
13 0.51 0.63 0.68 0.98
14 0.65 0.68 0.75 0.98
15 0.55 0.64 0.56 0.98
16 0.34 0.58 0.57 0.98
17 0.61 0.72 0.74 0.98
18 0.45 0.62 0.68 0.98
19 0.47 0.67 0.74 0.98
20 0.57 0.67 0.60 0.98
21 0.50 0.65 0.72 0.98
22 0.53 0.66 0.65 0.98
23 0.54 0.67 0.75 0.98
24 0.49 0.64 0.59 0.98
25 0.56 0.66 0.73 0.98
26 0.43 0.62 0.58 0.98
27 0.44 0.64 0.61 0.98
28 0.25 0.52 0.60 0.98
29 0.33 0.60 0.70 0.98
30 0.61 0.64 0.71 0.98
31 0.30 0.55 0.62 0.98
32 0.50 0.64 0.67 0.98
33 0.58 0.63 0.71 0.98
34 0.43 0.63 0.64 0.98
35 0.40 0.62 0.69 0.98
36 0.54 0.64 0.71 0.98
37 0.41 0.59 0.66 0.98
38 0.57 0.66 0.61 0.98
39 0.36 0.57 0.65 0.98
40 0.26 0.52 0.65 0.98
41 0.50 0.63 0.67 0.98
42 0.37 0.60 0.55 0.98
43 0.64 0.66 0.67 0.98
44 0.24 0.50 0.64 0.98
45 0.42 0.61 0.61 0.98
46 0.80 0.64 0.67 0.98
47 0.45 0.66 0.63 0.98
48 0.67 0.70 0.78 0.98
49 0.56 0.68 0.73 0.98
50 0.25 0.51 0.60 0.98
51 0.29 0.56 0.69 0.98
52 0.45 0.61 0.69 0.98

Nesse instrumento, todos os itens tiveram resultados iguais ou acima a 0.3, além de correlação positiva com a pontuação total. Nessa escala, o Coeficiente Alpha total foi de 0.98 e o Coeficiente de Mcdonald foi 0.98. A investigação sobre os intervalos de confiança de ambos os resultados permitem concluir que as respostas ao AEFE - versão Professores são mais consistentes, precisas do que àquelas dadas na versão familiar da AEFE.

Isto posto, a etapa de Análise Fatorial Exploratória foi realizada com a configuração previamente exposta na seção de Análise. O teste de Bartlett foi significativo e o KMO foi de 0.97. O gráfico de sedimentação abaixo apresenta o resultado da Análise Paralela da AEFE - Versão pais.

## Parallel analysis suggests that the number of factors =  14  and the number of components =  NA

Pela análise gráfica, é possível verificar que a partir de 3 dimensões em diante os modelos já preenchem tornam-se adequados à exploração detalhada. Dessa maneira, os índices de ajuste foram computados para cada modelo e a comparação foi realizada pela estatística de diferença Qui-quadrado. A Tabela a seguir apresenta os resultados.

As análises serao feitas no Mplus

O modelo com três dimensões reúne características teóricas e estatísticas adequadas, já que tanto os índices de ajuste quanto a interpretabilidade dos fatores são contextualizadas ao modelo proposto pelo BRIEF (Gioia et al. 2000). Visando a confirmação dessa estrutura, uma parte da base foi aleatoriamente selecionada para testar a hipótese dimensional.

Os resultados apontam que o modelo tem excelentes características psicométricas e pode ser aceito: X2(1649) = 4607.85, CFI = 0.96, TLI = 0.96, RMSEA = 0.05, SRMR = 0.07. A Tabela a seguir apresenta as propriedades psicométricas da escala. A fidedignidade de cada dimensão também foi adequada pela consistência interna dos resultados a partir do Coeficiente Alfa de Cronbach e Ômega de Mcdonald. A dimensão Metacognição 1 teve valor 0.89 e 0.73 respectivamente. Metacognição 2 teve 0.9 e 0.76 e Regulação teve 0.93 e 0.83 respectivamente. Como um todo, essa escala teve Alfa de 0.96 e Ômega de 0.9.

Cargas fatoriais e outros coeficientes psicométricos)
Dimensão Item B SE Z p-valor Beta
metacog1 y8 1.08 0.062 17.3 0 0.71
metacog1 y20 1.06 0.071 14.9 0 0.70
metacog1 y17 1.01 0.062 16.3 0 0.67
metacog1 y12 1.00 0.000 NA NA 0.66
metacog1 y26 0.99 0.048 20.6 0 0.66
metacog1 y48 0.99 0.066 14.9 0 0.66
metacog1 y7 0.96 0.071 13.7 0 0.64
metacog1 y1 0.96 0.065 14.8 0 0.63
metacog1 y47 0.94 0.061 15.2 0 0.62
metacog1 y10 0.88 0.065 13.5 0 0.58
metacog1 y55 0.87 0.063 13.9 0 0.57
metacog1 y60 0.86 0.064 13.4 0 0.57
metacog1 y57 0.80 0.069 11.7 0 0.53
metacog1 y6 0.75 0.080 9.3 0 0.50
metacog2 y46 1.99 0.262 7.6 0 0.73
metacog2 y27 1.93 0.251 7.7 0 0.71
metacog2 y37 1.84 0.240 7.7 0 0.68
metacog2 y44 1.83 0.243 7.5 0 0.68
metacog2 y5 1.72 0.219 7.8 0 0.63
metacog2 y62 1.66 0.225 7.4 0 0.61
metacog2 y31 1.64 0.216 7.6 0 0.61
metacog2 y2 1.64 0.226 7.3 0 0.61
metacog2 y35 1.63 0.213 7.6 0 0.60
metacog2 y13 1.57 0.226 6.9 0 0.58
metacog2 y38 1.52 0.215 7.1 0 0.56
metacog2 y34 1.48 0.200 7.4 0 0.55
metacog2 y43 1.46 0.202 7.2 0 0.54
metacog2 y40 1.40 0.199 7.0 0 0.52
metacog2 y36 1.35 0.184 7.4 0 0.50
metacog2 y9 1.35 0.194 7.0 0 0.50
metacog2 y56 1.24 0.189 6.6 0 0.46
metacog2 y41 1.23 0.182 6.7 0 0.45
metacog2 y65 1.18 0.181 6.5 0 0.44
metacog2 y39 1.12 0.175 6.4 0 0.41
metacog2 y29 1.02 0.121 8.4 0 0.38
metacog2 y30 1.00 0.000 NA NA 0.37
metacog2 y33 0.96 0.153 6.3 0 0.35
regulacao y16 1.11 0.049 22.9 0 0.78
regulacao y4 1.02 0.048 21.4 0 0.72
regulacao y21 1.00 0.000 NA NA 0.70
regulacao y45 1.00 0.047 21.3 0 0.70
regulacao y19 0.99 0.043 23.0 0 0.70
regulacao y23 0.98 0.044 22.4 0 0.69
regulacao y3 0.96 0.047 20.2 0 0.68
regulacao y28 0.93 0.049 19.2 0 0.66
regulacao y25 0.93 0.051 18.1 0 0.66
regulacao y59 0.93 0.047 19.7 0 0.65
regulacao y52 0.92 0.043 21.2 0 0.65
regulacao y14 0.91 0.049 18.7 0 0.64
regulacao y24 0.88 0.046 19.0 0 0.62
regulacao y18 0.87 0.051 17.0 0 0.61
regulacao y50 0.86 0.048 17.9 0 0.61
regulacao y53 0.85 0.055 15.7 0 0.60
regulacao y42 0.81 0.049 16.4 0 0.57
regulacao y22 0.80 0.051 15.8 0 0.56
regulacao y32 0.77 0.055 14.0 0 0.54
regulacao y11 0.77 0.058 13.2 0 0.54
regulacao y54 0.75 0.053 14.3 0 0.53
regulacao y58 0.63 0.056 11.2 0 0.44

É importante notar algumas características desses resultados. As três dimensões tem um perfil forte correlacional. A dimensão Meta cogniçao 1 se correlaciona em 0,79 (p < 0.01) com a Meta cognição 2 e em 0,75 com a Regulação. Já a dimensão Meta cognição 2 se correlaciona com a Regulação em 0,65 (p < 0.01). Arruda, isso indica que as FEs são muito interligadas. O item 16 (“É preciso repetir várias vezes para obedecer a ordens”) foi o mais discriminativo da dimensão Meta Cognição 1 (λ = 0,78, p < 0,01), enquanto o item 57 (“Seus cadernos, agendas e apostilas estão sempre desorganizados” foi o menos (λ = 0,46, p < 0,01). Em relação à dimensão "Meta Cognição 2*, O item 37 (“Não vai até o fim no que começa, diante de uma dificuldade logo…”) foi o mais discriminativo (λ = 0.78, p < 0.01), enquanto o item 39 (“Não sabe guardar segredo”) foi o menos discriminativo dessa dimensão (λ = 0,27, p < 0,01). No que se refere à dimensão “Regulação”, o item 4 (“É atirado, age sem pensar, tem dificuldade de controlar seu compo”) foi o mais discriminativo (λ = 0,77, p < 0,01) e o item 58 (“Seus momentos de raiva e choro são intensos, mas terminam logo.”) foi o menos (λ = 0,44, p < 0,01). arruda, por quais motivos?

A key feature of the development of a new standardized measure is its normative data. Raw scores often are difficult to interpret or meaningless in the absence of further information. Therefore, normative data (and tables) provide information to allow drawing useful inferences about the person’s relative performance. However, as EFICA-P and EFICA-T results were fulfilled with data from boys and girls aged from 5 to 18 years-old, testing the age and sex effects must be carried out to develop specific reference normative tables norms to assist in the classification or description of newly examinees.

That said, a linear model was computed to explore its effects, and revealed no interaction between (F (anova_sexo_idade_efica_p$table_body[4, "df"], ) = , p = ). had a main effect on the results (F (, ) = , p = ). [Word will continue this text]

## 
## 
## ANOVA results using parents_total as the dependent variable
##  
## 
##             Predictor         SS   df        MS      F    p partial_eta2
##           (Intercept)  324696.67    1 324696.67 856.10 .000             
##          factor(sexo)     197.80    1    197.80   0.52 .470          .00
##                 idade    3591.55    1   3591.55   9.47 .002          .00
##  factor(sexo) x idade     403.58    1    403.58   1.06 .302          .00
##                 Error 1244026.52 3280    379.28                         
##  CI_90_partial_eta2
##                    
##          [.00, .00]
##          [.00, .01]
##          [.00, .00]
##                    
## 
## Note: Values in square brackets indicate the bounds of the 90% confidence interval for partial eta-squared

A Análise Paralela foi também realizada à escala respondida pelos professores (Imagem x), que teve Bartlett significativo e O teste de Bartlett foi significativo e KMO foi de 0.98. A análise gráfica permitiu modelar soluções até 5 dimensões e os índices de ajuste foram obtidos.

## Parallel analysis suggests that the number of factors =  8  and the number of components =  NA

Os resultados do modelo com duas dimensões apresentam-se estatisticamente adequados e oferecem também uma interpretação convergente à teoria de base. Dessa maneira, a escala dos professores teve sua estrutura fatorial testada pela AFC preservando a configuração previamente descrita. Os resultados de ajuste foram adequados à estrutura dimensional proposta.

X2(1273) = 5158.24, CFI = 0.99, TLI = 0.99, RMSEA = 0.08, SRMR = 0.07. A Tabela a seguir apresenta as propriedades psicométricas da escala. A fidedignidade de cada dimensão também foi adequada pela consistência interna dos resultados a partir do Coeficiente Alfa de Cronbach e Ômega de Mcdonald. A dimensão Metacognição 1 teve valor 0.99 e 0.94 respectivamente. Metacognição 2 teve 0.9 e 0.96 e Regulação teve 0.98 e 0.91 respectivamente. Como um todo, essa escala teve Alfa de 0.99 e Ômega de 0.96. A Tabela apresenta os resultados encontrados.

Cargas fatoriais e outros coeficientes psicométricos)
Dimensão Item B SE Z p-valor Beta
MetaCog i23 1.00 0.000 NA NA 0.91
MetaCog i14 0.97 0.014 70 0 0.88
MetaCog i17 0.96 0.015 64 0 0.87
MetaCog i9 0.93 0.018 50 0 0.84
MetaCog i19 0.99 0.015 68 0 0.90
MetaCog i30 0.97 0.015 63 0 0.88
MetaCog i38 0.87 0.023 38 0 0.79
MetaCog i49 0.96 0.016 61 0 0.87
MetaCog i43 0.90 0.020 45 0 0.82
MetaCog i21 0.97 0.015 66 0 0.88
MetaCog i25 1.00 0.013 79 0 0.91
MetaCog i8 1.02 0.013 79 0 0.92
MetaCog i52 0.93 0.022 42 0 0.84
MetaCog i36 0.96 0.016 59 0 0.87
MetaCog i32 0.92 0.022 42 0 0.83
MetaCog i37 0.89 0.024 38 0 0.81
MetaCog i48 0.98 0.016 63 0 0.89
MetaCog i13 0.92 0.020 46 0 0.83
MetaCog i46 0.88 0.020 43 0 0.80
MetaCog i6 0.84 0.024 35 0 0.76
MetaCog i7 0.83 0.026 32 0 0.75
MetaCog i10 0.81 0.027 31 0 0.74
MetaCog i15 0.76 0.032 24 0 0.69
MetaCog i1 0.92 0.020 45 0 0.83
MetaCog i29 0.96 0.021 45 0 0.87
MetaCog i4 0.85 0.024 35 0 0.77
MetaCog i18 0.87 0.026 33 0 0.79
MetaCog i12 0.94 0.018 51 0 0.85
MetaCog i33 0.91 0.021 43 0 0.82
MetaCog i39 0.90 0.024 37 0 0.82
MetaCog i47 0.82 0.031 27 0 0.75
MetaCog i3 0.91 0.030 30 0 0.82
Regulacao i26 1.00 0.000 NA NA 0.83
Regulacao i45 1.01 0.028 36 0 0.84
Regulacao i42 0.97 0.038 26 0 0.81
Regulacao i28 1.09 0.032 34 0 0.91
Regulacao i2 1.00 0.037 27 0 0.83
Regulacao i27 1.02 0.034 30 0 0.85
Regulacao i34 1.02 0.036 29 0 0.85
Regulacao i16 0.99 0.038 26 0 0.83
Regulacao i50 0.99 0.040 25 0 0.82
Regulacao i5 0.99 0.039 25 0 0.83
Regulacao i24 0.97 0.037 26 0 0.81
Regulacao i22 1.02 0.035 29 0 0.85
Regulacao i20 0.95 0.036 27 0 0.79
Regulacao i41 1.05 0.036 29 0 0.87
Regulacao i35 1.05 0.033 32 0 0.88
Regulacao i44 1.11 0.036 31 0 0.92
Regulacao i40 1.08 0.037 29 0 0.90
Regulacao i31 1.01 0.038 27 0 0.84
Regulacao i51 1.10 0.039 28 0 0.92
Regulacao i11 1.04 0.040 26 0 0.86

Contatou-se que as duas dimensões apresentaram um perfil correlacional forte e proporcional (r = 0.773, p < 0.01). O item 23 (“Tem dificuldade para finalizar tarefas e atividades.”) foi o mais discriminativo em relação à Metacognição (λ = 0.90, p < 0,01) e o item 26 (“Interrompe os outros, não aguarda sua vez para falar.”) foi o mais discriminativo da dimensão Regulação (λ = 0.89, p < 0.01).

É importante notar algumas características desses resultados. As três dimensões tem um perfil forte correlacional. A dimensão Meta cogniçao 1 se correlaciona em 0,79 com a Meta cognição 2 e em 0,75 com a Regulação. Já a dimensão Meta cognição 2 se correlaciona com a Regulação em 0,65. Arruda, isso indica que as FEs são muito interligadas. O item 16 (“É preciso repetir várias vezes para obedecer a ordens”) foi o mais discriminativo da dimensão Meta Cognição 1, enquanto o item 57 (“Seus cadernos, agendas e apostilas estão sempre desorganizados” foi o menos. Em relação à dimensão "Meta Cognição 2*, O item 37 (“Não vai até o fim no que começa, diante de uma dificuldade logo…”) foi o mais discriminativo, enquanto o item 39 (“Não sabe guardar segredo”) foi o menos discriminativo dessa dimensão. No que se refere à dimensão “Regulação”, o item 4 (“É atirado, age sem pensar, tem dificuldade de controlar seu compo”) foi o mais discriminativo e o item 58 (“Seus momentos de raiva e choro são intensos, mas terminam logo.”) foi o menos. arruda, por quais motivos?

Normative tables were prepared as well for teachers questionnaire. The table presented below reports the results.

## 
## 
## ANOVA results using teachers_total as the dependent variable
##  
## 
##             Predictor         SS   df       MS      F    p partial_eta2
##           (Intercept)   75485.87    1 75485.87 163.89 .000             
##          factor(sexo)     209.90    1   209.90   0.46 .500          .00
##                 idade     212.07    1   212.07   0.46 .497          .00
##  factor(sexo) x idade    7992.57    1  7992.57  17.35 .000          .01
##                 Error 1510689.88 3280   460.58                         
##  CI_90_partial_eta2
##                    
##          [.00, .00]
##          [.00, .00]
##          [.00, .01]
##                    
## 
## Note: Values in square brackets indicate the bounds of the 90% confidence interval for partial eta-squared

The following plot illustrates the difference between boys and girls scores.

Known-groups

An important method to access aspects of test validity is the “Known-Groups” Method. Within this procedure, the test validity is seen as its scores discriminate across groups that are theoretically known to differ. The confirmatory sample (n = 650) was used to get information about its means and standard deviation to compare these results with the ones computed from the ADHD sample (n = 165).

The following images show the densities differences between AHDH vs. non-ADHD participants. As previously explained, the higher the result, the higher the risk for any of these executive funcions problems.

Data analysis after peer review

The cohen’s d was computed for metrify the magnitude of the difference between groups. The first comparison was between ADHD and non-ADHD children in regard to Metacognitio 1.

The second comparison was related to regulation

The third comparison was related to meta cognition 2

With regard to teachers’ evaluation, the Cohen’s d was also computed.

Following analyses were performed in the first version of the MS and should not be considered

The same pattern of results were found with regard to scales replied by the school teachers. Metacognition results were higher in the adhd group (M = 43.81, sD = 13.15) than non-adhd group (M = 16.74, sD = 14.62) (t(303.03) = 22.41, p < 0.01), and Regulation results were also higher in the adhd group (M = 43.81, sD = 13.15) than non-adhd group (M = 16.74, sD = 14.62) (t(250.61) = 20.59, p < 0.01).

The graph below show the density of the results.

Academic performance is an useful index about children’s EFs and it was also used to check wether the results gathered through both scales would differentiate the participants. The Performance group was formed of three cattegories: low, average, and high and ANOVA tests with pairwise comparisons were performed. P-values were adjusted with Bonferroni Method.

A set of analyzes were performed aiming at exploring the relationship between the EFs and the results of the Strengths and Difficulties Questionnaire (SDQ). For this last questionnaire, two groups were formed: “Children facing difficulties” (1) and “Children without difficultiest” (0). T tests were used to acess the group differentes in all domains.

Discussion

References

Bustamante Carim, Daniela de, Monica C. Miranda, and Orlando F. Amodeo Bueno. 2012. “Tradução E Adaptação Para O Português Do Behavior Rating Inventory of Executive Function - BRIEF.” Psicologia: Reflexão E Crı́tica 25 (4): 653–61. https://doi.org/10.1590/s0102-79722012000400004.

Furr, R. Michael. 2011a. Scale Construction and Psychometrics for Social and Personality Psychology. SAGE Publications Ltd. https://doi.org/10.4135/9781446287866.

———. 2011b. Scale Construction and Psychometrics for Social and Personality Psychology. https://doi.org/10.4135/9781446287866.

Gioia, Gerard A., Peter K. Isquith, Steven C. Guy, and Lauren Kenworthy. 2000. “TEST REVIEW Behavior Rating Inventory of Executive Function.” Child Neuropsychology 6 (3): 235–38. https://doi.org/10.1076/chin.6.3.235.3152.

Hattie, John, and Ray W. Cooksey. 1984. “Procedures for Assessing the Validities of Tests Using the "Known-Groups" Method.” Applied Psychological Measurement 8 (3): 295–305. https://doi.org/10.1177/014662168400800306.

Hu, Li-tze, and Peter M. Bentler. 1999. “Cutoff Criteria for Fit Indexes in Covariance Structure Analysis: Conventional Criteria Versus New Alternatives.” Structural Equation Modeling: A Multidisciplinary Journal 6 (1): 1–55. https://doi.org/10.1080/10705519909540118.

Nunnally, & Bernstein, J. C. 1994. Psychometric Theory. Third. New York, NY: McGraw-Hill, Inc.

R Core Team. 2018. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing. https://www.R-project.org/.

Revelle, William. 2018. Psych: Procedures for Psychological, Psychometric, and Personality Research. Evanston, Illinois: Northwestern University. https://CRAN.R-project.org/package=psych.

Rosseel, Yves. 2012. “lavaan: An R Package for Structural Equation Modeling.” Journal of Statistical Software 48 (2): 1–36. http://www.jstatsoft.org/v48/i02/.

Suh, Youngsuk. 2015. “The Performance of Maximum Likelihood and Weighted Least Square Mean and Variance Adjusted Estimators in Testing Differential Item Functioning with Nonnormal Trait Distributions.” Structural Equation Modeling: A Multidisciplinary Journal 22 (4): 568–80. https://doi.org/10.1080/10705511.2014.937669.

Vink, Gerko, Laurence E. Frank, Jeroen Pannekoek, and Stef van Buuren. 2014. “Predictive Mean Matching Imputation of Semicontinuous Variables.” Statistica Neerlandica 68 (1): 61–90. https://doi.org/10.1111/stan.12023.

Wickham, Hadley. 2017. Tidyverse: Easily Install and Load the ’Tidyverse’. https://CRAN.R-project.org/package=tidyverse.

Zio, Marco Di, and Ugo Guarnera. 2008. “Semiparametric Predictive Mean Matching.” AStA Advances in Statistical Analysis 93 (2): 175–86. https://doi.org/10.1007/s10182-008-0081-2.