Validez y baremos del Test de Clasificación de Tarjetas de Wisconsin (WCST) en sus versiones computarizada y manual en niños

Abstract

El Wisconsin Card Sorting Test (WCST) es un instrumento ampliamente utilizado durante la evaluación neuropsicológica como medida de la flexibilidad cognitiva reactiva. A pesar de que su utilización está muy extendida, continúa el debate sobre la naturaleza de los procesos cognitivos que subyacen a su desempeño y sobre las relaciones entre las diversas puntuaciones derivadas de la prueba en función de su modo de administración. Por otra parte, existen escasos estudios normativos en población hispanohablante, y particularmente, que hayan empleado la versión computarizada del WCST en niños. El objetivo del presente estudio fue examinar la validez factorial y convergente del WCST en su versión computarizada y manual en niños, y establecer las normas para cada versión. La muestra estuvo constituida por 359 niños de 7 a 12 años: 138 completaron el WCST manual y 221 el WCST computarizado. Se administró el WCST en sus dos versiones, el K-BIT, la prueba de memoria de trabajo (MT) del WISC-IV, el test de Stroop y la prueba de fluidez verbal (FV) semántica y fonológica. Se empleó Análisis Factorial Exploratorio, correlación de Pearson y análisis de variancia. El análisis paralelo indicó una solución unidimensional, agrupando respuestas eficientes e ineficientes para ambas versiones del WCST. En cuanto a las correlaciones, los resultados mostraron que el desempeño en el WCST y tareas que valoran otros procesos cognitivos difiere en función de la versión completada. Los baremos se establecen por primera vez para niños argentinos para ambas versiones. Los resultados enfatizan la importancia de no considerar ambas versiones como intercambiables en población infantil.

Alternate abstract:

The Wisconsin Card Sorting Test (WCST) is an instrument widely used during neuropsychological evaluation as a measure of reactive cognitive flexibility. Although its use is widespread, the debate continues on the nature of the cognitive processes that underlie its performance and on the relationships between the various scores derived from the test depending on its mode of administration. On the other hand, there are few normative studies in the Spanish-speaking population, and particularly, that have used the computerized version of the WCST in children. The objective of the present study was to examine the factorial and convergent validity of the WCST in its computerized and manual versions in children, and to establish norms for each version. The sample consisted of 359 children aged 7 to 12 years: 138 completed the manual WCST and 221 the computerized WCST. The WCST was administered in its two versions, the K-BIT, the WISC-IV working memory test (MT), the Stroop test and the semantic and phonological verbal fluency test (VF). Exploratory Factor Analysis, Pearson correlation and analysis of variance were used. Parallel analysis indicated a unidimensional solution, grouping efficient and inefficient responses for both versions of the WCST. Regarding correlations, the results showed that performance on the WCST and tasks that assess other cognitive processes differs depending on the version completed. The scales are established for the first time for Argentine children for both versions. The results emphasize the importance of not considering both versions as interchangeable in the child population.

Introducción

El Test de Clasificación de Tarjetas de Wisconsin (WCST; Berg, 1948; Grant y Berg, 1948, Grant y Berg,1996) es una de las pruebas neuropsicológicas más ampliamente usadas para evaluar funciones cognitivas de orden superior relacionadas con el lóbulo frontal (Shan et al., 2008), específicamente la resolución de problemas (Pezzuti et al., 2013) y la flexibilidad cognitiva reactiva (Arán Filippetti y Krumm, 2020; Arán Filippetti et al., 2020). Su correcta resolución demanda además otros procesos cognitivos complejos (Snyder et al., 2015) como el razonamiento, la toma de decisiones, la memoria de trabajo y la inhibición (Wang et al., 2001).

La primera versión del WCST, desarrollada por Berg (1948), consistía en cuatro tarjetas de estímulo y 60 respuestas. Los estudios posteriores que evaluaron los aspectos destacados de la prueba finalmente dieron como resultado la versión manual clásica o estándar del WCST. Esta última versión utiliza cuatro tarjetas de estímulo y dos mazos de 64 tarjetas de respuesta; el participante empareja las tarjetas de respuesta, una a la vez, con una de las tarjetas de estímulo clasificándolas según el principio de color, forma o número (Feldstein et al., 1999). La versión computarizada se utiliza tanto como la versión manual, aunque existe cierta controversia con respecto a la equivalencia entre ambas versiones (Arán Filippetti et al., 2020), encontrándose evidencia que indica que no existen diferencias significativas en el desempeño del WCST en función del modo de administración (Peretti et al., 2009; Shan et al., 2008), como evidencia en contra de su equivalencia (Feldstein et al., 1999; Miranda et al., 2009). Ambas versiones cuentan además con formas abreviadas (i.e., WCST-64), con estudios que examinan incluso si sus resultados son comparables a los de la versión estándar de 128 cartas (Axelrod, 2002; Greve, 2001).

Estructura latente del WCST

Diversos estudios han analizado la estructura latente del WCST (Greve et al., 2005) en adultos, en su mayoría, mediante el empleo de análisis factorial exploratorio (AFE). Según Greve et al. (2005), la solución factorial más satisfactoria es la de tres factores (Bell et al., 1997; Koren et al., 1998; Lin et al., 2000), aunque también se han encontrado soluciones de dos factores (Greve et al., 1997; Miranda et al., 2020; Periáñez y Barceló, 2001) y soluciones de un factor (Bowden et al., 1998). Específicamente, en estudios en muestras clínicas suelen observarse soluciones de tres factores (Greve et al., 1998; Greve et al. 2002; Wiegner y Donders, 1999) que coinciden con tres procesos cognitivos; por ejemplo, la flexibilidad cognitiva, la resolución de problemas y el mantenimiento de la respuesta (Greve et al., 2002). Las estructuras bidimensionales, calculadas con AFE, se han explicado mediante un factor que representa respuestas eficientes y otro factor que representa las respuestas ineficientes (Miranda et al., 2020; Periáñez y Barceló, 2001). Finalmente, entre los estudios que han observado una estructura unidimensional se encuentra el de Bowden et al. (1998), quienes hallaron en una muestra de estudiantes universitarios un buen ajuste del modelo de un factor compuesto por categorías completas, total correctas, total errores, errores perseverativos, respuestas perseverativas y errores no perseverativos. Los autores sugieren, en base a estos resultados, que el cálculo de los diferentes puntajes del WCST separados es innecesario para fines clínicos o de investigación, porque hay redundancia en el cálculo con los seis puntajes estándar mencionados.

En general, se evidencia que el tipo de solución encontrada parece depender de los análisis empleados (análisis factorial exploratorio vs análisis factorial confirmatorio), el tipo de rotación utilizada (oblicua vs ortogonal), el tipo de muestra (clínica vs normal) y los indicadores del WCST incluidos en el análisis. Particularmente, con respecto al empleo del AFE, Greve et al. (2005) mencionan una serie de limitaciones para tener en cuenta. En primer lugar, el tamaño de la muestra suele ser pequeño, entre menos de 100 o menos de 200, aunque se encuentra dentro de los límites aceptados. En segundo lugar, a pesar de que existe correlación entre los indicadores del WCST, la rotación ortogonal ha sido la más utilizada (Miranda et al., 2020), aunque es más apropiado el empleo de rotación oblicua. Finalmente, respecto de los indicadores empleados, se ha sugerido que Fallos para Mantener la Actitud (FMA) es poco común en población normal y clínica (Heaton et al., 1993). Este indicador tiene que ver con el número de veces que un sujeto realizó cinco o más intentos consecutivos sin descubrir la regla (Miranda et al., 2020), por lo tanto, que este indicador integre un factor puede ser poco certero (Greve et al., 2005).

Estudios normativos sobre el WCST

El desarrollo de datos normativos es importante para determinar si una persona se encuentra dentro o fuera del rango normal, y es muy útil para la clínica y la investigación (Shan et al., 2008). Particularmente, en lo que respecta al test de WCST, según Leany et al. (2013), la cantidad limitada de datos normativos disponibles para la población hispanohablantes es uno de los mayores desafíos en el campo de la neuropsicología hispana. Por otra parte, estudios realizados con el WCST han informado sesgos culturales en hispanos, taiwaneses, indios e iraníes (Miranda et al., 2020), lo que pone de manifiesto la importancia de contar con normas para cada contexto cultural, ya que el uso datos normativos no representativos de una población podría llevar a falsos positivos o a una clasificación errónea del estado cognitivo (Avila et al., 2019).

Para la población de adolescentes y adultos, se han desarrollado estudios normativos para la versión estándar del WCST (WCST-128) en China (Shan et al., 2008), India (Kohli y Kaur, 2006), Estados Unidos (Heaton et al., 1993), Brasil (Heaton et al., 2005), Argentina (Miranda et al., 2020), Italia (Laiacona et al., 2000), España (Pérez-Enríquez et al., 2021) y Portugal (Faustino et al., 2020), entre otros.

En población infantil, los estudios sobre el desempeño del WCST han revelado de manera consistente un mejor desempeño con la edad durante el período de la niñez, pero se evidencian resultados contradictorios con respecto a la edad en la que el desempeño de WCST alcanzaría el nivel de adulto (Lin et al., 2000). Por ejemplo, en el estudio de Chelune y Baer (1986) con el WCST manual en 105 niños de 6 a 12 años, el nivel de desempeño adulto se alcanzó a los 10 años. También Welsh et al. (1991) demostraron un incremento en el desempeño alcanzado en la tarea entre los 7 y los 8 años, con un nivel de desempeño similar al del adulto alrededor de los 10 años. Por su parte, Rosselli y Ardila (1993) desarrollaron normas para la versión manual en niños de habla hispana y encontraron que el desempeño alcanza el nivel adulto alrededor de los 11-12 años. Si bien para la versión manual el desempeño adulto se alcanzaría alrededor de los 10 años, los estudios realizados con la versión computarizada han arrojado resultados algo diferentes. Por ejemplo, Shu et al. (2000) establecieron normas para niños taiwaneses y hallaron que a la edad de 11-12 años los niños cometen un mayor número de errores perseverativos respecto de los resultados reportados por los estudios de Chelune y Baer (1986) y Rosselli y Ardila (1993). De manera similar, en niños brasileños se ha demostrado que el desempeño adulto en la versión computarizada se alcanzaría alrededor de los 13 años (Coelho et al., 2012). Finalmente, un estudio realizado en niños de Turquía reveló, consistentemente, que el desempeño en la tarea se incrementa con la edad (Yeniceri y Altan-Atalay, 2011) aunque el rango de edad fue inferior (i.e., 8-11 años) al analizado en los estudios previos.

El presente estudio

Si bien existen controversias con respecto a la equivalencia de las versiones manual vs computarizada del WCST en adultos sanos y sujetos con trastornos clínicos (Feldstein et al., 1999; Miranda et al., 2009), se ha demostrado que las mismas no serían equivalentes en población infantil (Arán Filippetti et al., 2020). Esto enfatiza la importancia de no considerar ambas versiones como intercambiables y desarrollar estudios psicométricos del instrumento contemplando sus diferentes formas. Sin embargo, hasta el momento, no existen estudios que hayan examinado la validez factorial y convergente de ambas versiones del WCST en niños en el contexto de estudio. A la fecha, la estructura latente del WCST solo se ha examinado en adolescentes y adultos, y se observó incluso poco acuerdo respecto de su naturaleza dimensional, predominando soluciones de dos y tres factores. Igualmente, según el conocimiento disponible, no existen estudios normativos que contemplen ambas versiones del WCST en población infantil. A partir de lo mencionado, el objetivo de este trabajo es analizar la estructura factorial y la validez convergente del WCST en su versión computarizada y manual, y establecer baremos para cada versión según la edad y el sexo.

Método

Participantes

La muestra fue no probabilística intencional por conveniencia y estuvo constituida por 359 niños y adolescentes de escuelas públicas y privadas de las provincias de Entre Ríos y Santa Fe, Argentina. Los participantes fueron agrupados del siguiente modo: (1) WCST manual: 138 (38.4 %) niños y adolescentes, entre 7 y 12 años de edad, de ambos sexos; (2) WCST computarizado: 221 (61.5 %) niños y adolescentes, entre 7 y 12 años, de ambos sexos. En relación al nivel socioeconómico, para las escuelas de la provincia de Santa Fe se obtuvo del Ministerio de Educación de la provincia, el cual proporciona un coeficiente que se obtiene en base al ingreso familiar, operacionalizado a partir de una escala que va de muy bueno a deficitario. El coeficiente socioeconómico de estas escuelas fue bueno. En la provincia de Entre Ríos, la información se solicitó en las escuelas evaluadas, y se basa en el barrio donde está emplazada la misma. El nivel socioeconómico de estas escuelas también fue bueno. Además, se recolectó información sobre el nivel educativo de la madre en una escala de 1 a 5: 1. Primaria, 2. Secundaria, 3. Mayor educación que secundaria pero menor al nivel universitario, 4. Universitario, 5. Postgrado. El promedio de educación maternal fue de 3.53 (.53) para la versión computarizada y 3.72 (.65) para la versión manual.

Previo a la administración de las tareas cognitivas, se administró el test de K-BIT (Kaufman y Kaufman, 2000) para constatar que los niños presentaran un desempeño dentro del rango esperado para la edad. El funcionamiento intelectual se encontró dentro del rango esperado tanto para la muestra a la que se le administró la versión manual (M = 92.74; DE = 10.40), como para la muestra a la que se le administró la versión computarizada (M = 92.13; DE = 11.84). No se observaron diferencias significativas entre los grupos [t (318.499) = -0.516, p = .606]. Además, se utilizó la prueba t de Student para constatar que no existiesen diferencias significativas entre las dos versiones (Manual vs. Computarizado) en función de la edad [t (241.608) = 1.140, p = .255]. La media para el WCST manual fue de 9.57 (DE = 1.70) y para el WCST computarizado, 9.76 (DE = 1.34).

Instrumentos

K-BIT, Test breve de Inteligencia de Kaufman (Kaufman y Kaufman, 2000)

Esta prueba ofrece una medida de la inteligencia cristalizada (Gc) y fluida (Gf) y consta de dos subtests: (a) Vocabulario (verbal/cristalizada/conocimientos) y (b) Matrices (manipulativa/fluida/procesamiento mental). La consistencia interna analizada con el método de las dos mitades fue de .98 para el subtest Vocabulario y de .97 para el subtest Matrices. El coeficiente de estabilidad test-retest fue de .94 para el subtest Vocabulario y de .86 para el de Matrices (Kaufman y Kaufman, 2000).

Test de Clasificación de Tarjetas de Wisconsin (WCST) (Heaton et al., 1997)

Este instrumento brinda una medida de la función ejecutiva, particularmente de la flexibilidad cognitiva reactiva (Arán Filippetti y Krumm, 2020;Arán Filippetti et al., 2020). El WCST presenta cuatro tarjetas estímulo (un triángulo rojo, dos estrellas verdes, tres cruces amarillas y cuatro círculos azules) a los participantes. Luego, ellos reciben una pila de 128 tarjetas de respuesta adicionales y se les solicita que emparejen cada tarjeta con una de las tarjetas estímulo. Los examinadores informan a los participantes si sus respuestas son correctas o incorrectas, sin brindar información sobre qué categorías podrían emplear durante la clasificación. Se estudiaron los siguientes indicadores: total de ensayos para completar la primera categoría (TC1ra.), número de intentos (NI), total de correctas (TC), total de errores (TE), respuestas perseverativas (RP), porcentaje de respuestas perseverativas (PRP), errores perseverativos (EP), porcentaje de errores perseverativos (PEP), errores no perseverativos (ENP), fallos para mantener la actitud (FMA), categorías completas (CC). Los coeficientes de estabilidad informados han oscilado entre .39 y .72 (Heaton et al., 1993).

Test de Clasificación de Tarjetas de Wisconsin (WCST) (versión computarizada de 128 cartas en español 1.0.0)

En la versión computarizada del WCST, las cuatro tarjetas estímulo (un triángulo rojo, dos estrellas verdes, tres cruces amarillas y cuatro círculos azules) aparecen en la pantalla del ordenador y se le solicita al sujeto que empareje las cartas que van apareciendo en la pantalla con una de las cuatro tarjetas estímulo. Tal como sucede con la versión manual, no se le informa al sujeto cómo deben emparejar las cartas, sino que deben emparejarlas en función de la retroalimentación recibida (correcto o incorrecto) que aparece en la pantalla de la computadora.

Memoria de Trabajo, WISC-IV (Wechsler, 2010)

Esta prueba permite obtener un índice de memoria de trabajo a partir de la sumatoria de los puntajes directos en las tareas que implica. La primera corresponde a la tarea Dígitos (D), que ofrece una medida de la retención verbal inmediata mediante el subtest Dígitos directos (DD) y del mantenimiento y la manipulación de la información mediante el subtest Dígitos inversos (DI). La segunda tarea es Letras y Números (LN), que consiste en la lectura por parte del examinador de una serie de números y letras desordenadas, y el recuerdo de la serie por parte del participante, ordenando los números de menor a mayor y las letras por orden alfabético. El WISC IV ha sido normalizado en Argentina (Wechsler, 2010).

Test de Colores y Palabras, Stroop (Golden, 1999)

Esta prueba mide el control de la interferencia y la capacidad de inhibir una respuesta verbal automática. Incluye tres hojas: (a) la condición de la palabra, (b) la condición del color y (c) la condición de la palabra y del color. La confiabilidad test-retest es .86 para la página de palabras, .82 para la página en color y .73 para la página en color y palabra (Golden, 1975, citado en Golden, 1999). En este estudio se utilizó el puntaje directo obtenido de la condición palabra-color.

Fluidez Verbal Semántica (FVS) (frutas y animales) y Fonológica (FVF) (letras F, A, y S)

Se pide a los participantes que pronuncien todas las palabras posibles que recuerden comenzando con una letra específica (F, A y S) o que pertenezcan a una determinada categoría, en el transcurso de 60 segundos. Las tareas de fluidez verbal tienen normas para los niños y adolescentes de habla hispana (Arán Filippetti y Allegri, 2011). En este estudio se utilizó puntuación de fluidez verbal (FV) obtenida a partir de la sumatoria de los puntajes directos de FVS y FVF.

Procedimiento de recolección de datos

Antes de comenzar la evaluación, se obtuvo el consentimiento por escrito de todos los padres o tutores legales. De la información obtenida en los establecimientos educativos, los criterios de inclusión de niños y adolescentes fueron los siguientes: (1) sin antecedentes conocidos de tratamiento neurológico o psiquiátrico, (2) que asisten a la escuela con regularidad, (3) sin repetición de grado.

Los niños fueron evaluados de manera individual en un ambiente tranquilo del establecimiento educativo, en una sesión de aproximadamente 30 a 40 minutos. La evaluación se llevó a cabo por especialistas calificados en la evaluación del WCST. En el caso del WCST computarizado, todos los niños tenían familiaridad y experiencia en el uso de una computadora, ya que en las escuelas evaluadas se impartía computación en la asignatura Tecnología. En consistencia con lo realizado en estudios previos (Feldstein et al., 1999; Fortuny y Heaton, 1996; Shan et al., 2008; Wagner y Trentini, 2009) y para evitar el efecto de práctica, no se utilizó la misma muestra para aplicar las dos versiones del WCST.

Este trabajo fue aprobado por el Comité de Ética de la Universidad Adventista del Plata por Resolución 4.5/2017.

Procedimiento de análisis de datos

Los datos fueron analizados por medio del Statistical Package for the Social Sciences (IBM SPSS Statistics, versión 25.0), Factor y JASP (versión 0.14.1). Se realizó un estudio de la estructura factorial del WCST computarizado y manual, incluyendo los indicadores más utilizados: TC, RP, EP, ENP y CC. De acuerdo con Greve et al (2005), no se incluyeron el total de intentos y el total de errores porque estos puntajes se obtienen a partir de la suma TC, EP y ENP, y la suma de EP y ENP. Tampoco se incluyó el indicador total de intentos para completar la primera categoría, porque requiere un grado de éxito que muchos sujetos no logran. Por otro lado, es un indicador con mucho desvío estándar, asimetría y curtosis.

Para el análisis factorial, se realizó en primer lugar un estudio descriptivo de la asimetría y curtosis multivariada de Mardia (1970), luego un Análisis Factorial Exploratorio (AFE) utilizando análisis paralelo, y como método de extracción de los factores se usó mínimos cuadrados no ponderados. A continuación, se utilizó correlación bivariada de Pearson entre los indicadores del WCST computarizado y manual para estudiar la validez convergente con otros indicadores de funcionamiento ejecutivo e inteligencia general.

Por último, para conocer el efecto de la edad (7-8; 9-10; 11-12 años) y el sexo, se empleó MANOVA bifactorial, utilizando la corrección de Bonferroni en los contrastes post hoc o Games-Howell en el caso en el que no se cumplía el supuesto de homogeneidad. Luego se calcularon los percentiles, medias aritméticas, el desvío estándar, la asimetría y la curtosis, para los indicadores IC1ra, NI, TC, TE, RP, PRP, EP, PEP, ENP, FMA, CC.

Resultados

Estudio de validez factorial y convergente del WCST computarizado y manual

Se realizaron dos AFE para evaluar la estructura de cada versión del WCST. Para esto, se realizó un análisis de la asimetría y la curtosis multivariada de Mardia (1970), y la curtosis resultó significativa (p < .001) en las dos versiones. A partir de este resultado, se decidió realizar los AFE partiendo de una matriz de correlación policórica.

En el WCST computarizado, la prueba de Kaiser-Meyer-Olkin (KMO) fue de .693, el resultado de la prueba de esfericidad de Bartlett fue significativo [χ2 (10) = 2504.1, p < .001]. Para la extracción de los factores se utilizó análisis paralelo, el cual encontró una dimensión que explicó el 74.41 % de la variancia. En la Tabla 1 se pueden observar los indicadores que cargaron en la dimensión.

En el WCST manual, la prueba de KMO mostró un resultado de .699, y la prueba de esfericidad de Bartlett resultó significativa [χ2 (6) = 793.3, p < .001]. Para la extracción de los factores, se utilizó análisis paralelo, mostrando nuevamente una dimensión que explicó el 82.75 % de la variancia. En la Tabla 1 se puede observar, que a diferencia del WCST computarizado, el indicador TC no cargó en la dimensión.

Tabla 1.

Matriz de estructura del WCST computarizado y manual

Indicadores WCST	Factor
Computarizado
Total correctas	-.706
Respuestas perseverativas	.787
Errores perseverativos	.846
Errores no perseverativos	.608
Categorías completas	-.886
Manual
Respuestas perseverativas	-.934
Errores perseverativos	-.938
Errores no perseverativos	-.635
Categorías completas	.982

Nota: Procedimiento para determinar el número de dimensiones: Análisis Paralelo (AP). Método de extracción: Mínimos cuadrados no ponderados.

Con respecto a la validez convergente, en el WCST computarizado se encontraron relaciones positivas y significativas (r = .17 a r = .33) entre los indicadores TC y CC, e inteligencia general, memoria de trabajo, fluidez verbal e inhibición. Los indicadores, RP y EP, presentaron correlaciones negativas y bajas (r = -.17 a r = -.29) con inteligencia general, fluidez verbal, memoria de trabajo e inhibición. El indicador ENP no correlacionó con fluidez verbal, pero sí correlacionó en forma negativa pero baja con los demás indicadores cognitivos (r = -.17 a r = -.26).

En el WCST manual, el análisis de correlación mostró que sólo CC presentó correlaciones positivas significativas (r = .20 a r = .39) con inteligencia general, fluidez verbal, inhibición y memoria de trabajo. Los indicadores TC, RP, EP y ENP presentaron desde correlaciones nulas a correlaciones negativas bajas (r = -.17 a r = -.44) con los indicadores cognitivos evaluados.Figura 1

[Image omitted, see PDF]

Figura 1.

Mapa de calor de las correlaciones entre los indicadores del WCST computarizado, las FE y el CI

*p < .05; **p < .01; ***p < .001

Nota:

TC: Total correctas; RP: Respuestas perseverativas; EP: Errores perseverativos; ENP: Errores no perseverativos; CC: Categorías completas; CI: Inteligencia general; FV: Fluidez verbal; MT: Índice del WISC IV de Memoria de trabajo; Stroop: palabra-color. Figura 2

[Image omitted, see PDF]

Figura 2.

Mapa de calor de las correlaciones entre los indicadores del WCST manual, las FE y el CI

*p < .05; **p < .01; ***p < .001

Nota:

TC: Total correctas; RP: Respuestas perseverativas; EP: Errores perseverativos; ENP: Errores no perseverativos; CC: Categorías completas; CI: Inteligencia general; FV: Fluidez verbal; MT: Índice del WISC IV de Memoria de trabajo; Stroop: palabra-color.

Estudio normativo del WCST computarizado

Los resultados del MANOVA mostraron que no existen diferencias significativas en el rendimiento del WCST computarizado según el sexo [F de Hotelling (10, 206) = 0.778; p = .650, η2 parcial = .04], la edad [F de Hotelling (20, 410) = 1.017; p = .410, η2 parcial = .06] y la interacción sexo x edad [F de Hotelling (20, 410) = 1.226; p = .228, η2 parcial = .06]. En la Tabla 4 se pueden observar las medias y los desvíos estándar por sexo y edad.

A continuación, se presentan los percentiles según el grupo de edad (ver Tabla 2 y Tabla 3).

Tabla 2.

Medias y desvíos estándar de los puntajes del WCST computarizado según el sexo y el grupo de edad

Indicadores WCST	Sexo			Grupo de edad
	Femenino	Masculino	7-8		9-10	11-12
	M(DE)	M(DE)	M (DE)		M (DE)	M (DE)
IC1ra	21.49(20.49)	23(21.04)	20.35(20.85)		23.53(22.55)	19.87(16.06)
NI	124.13(10.37)	123.48(11.45)	123.08(9.49)		124.72(9.47)	122.40(13.60)
TC	73.59(14.84)	72.14(15.14)	71.58(12.71)		71.91(16.10)	75.86(12.97)
TE	50.26(18.50)	50.93(19.77)	50.54(18.31)		52.81(19.27)	45.78(18.05)
RP	31.24(13.72)	28.79(14.10)	28.81(13.13)		31.32(13.99)	28.54(14)
PRP	24.81(10.24)	23(10.60)	23.15(9.59)		24.82(10.61)	22.86(10.30)
EP	25.75(10.68)	24.23(10.89)	24.08(9.67)		26.17(10.96)	23.37(10.67)
PEP	20.45(7.96)	19.30(8.16)	19.29(7.13)		20.74(8.26)	18.67(7.87)
ENP	24.51(12.65)	26.70(14.38)	26.46(12.45)		26.64(14.27)	22.41(11.49)
FMA	5.78(2.40)	5.62(2.25)	5.35(2.71)		5.92(2.19)	5.43(2.45)
CC	3.42(1.70)	3.44(1.71)	3.50(1.88)		3.24(1.68)	3.79(1.67)

Nota: En gris se remarcan los indicadores usados en el AFE.

IC1ra: Intentos para completar 1ra categoría; NI: Número de intentos; TC: Total correctas: TE: Total errores; RP: Respuestas perseverativas; PRP: Porcentaje respuestas perseverativas; EP: Errores perseverativos; PEP: Porcentaje de errores perseverativos; ENP: Errores no perseverativos; FMA: Fallos para mantener la actitud CC: Categorías completas.

Tabla 3.

Percentiles por grupo de edad de los indicadores del WCST computarizado

Indicadores WCST	Percentiles								Descriptivos
	5	10	25	50	75	90	95		Min.	Max.	Asimetría	Curtosis
Edad: 7-8
IC1ra	10	10	12	12.50	20.50	35.80	88.10		10	114	3.93	17.39
NI	100.75	104	124.50	128	128	128	128		99	128	-1.60	0.99
TC	42.75	46.70	63.75	74	81.25	84	90.50		41	94	-0.92	0.65
TE	20.85	28.70	32.75	52.50	64.25	81.30	85.25		17	87	0.23	-0.57
RP	8	10.80	18.75	28	38.50	48.30	51.60		8	53	0.25	-0.94
PRP	8	10.80	16	22	30.25	38	39.95		8	41	9.59	-0.82
EP	8	10.10	15.75	25	33	35.60	42.20		8	45	9.67	-0.68
PEP	7.83	8.44	12.94	19.53	25.78	27.81	32.97		8	35	0.12	-0.54
ENP	10.05	12	17	25.50	30.25	46.30	58.55		9	61	1.19	1.56
FMA	1	1.70	2.75	5.50	7.25	8.30	10.30		1	11	-0.03	-0.85
CC	1	1	2	3	6	6	6		1	6	0.13	-1.39
Edad: 9-10
IC1ra	0	10	11	14	27	50.70	83.45		0	119	2.25	5.07
NI	100.95	109	128	128	128	128	128		75	128	-3.22	10.48
TC	39.65	51	61	75.50	84	91	94.35		30	102	-0.60	-0.29
TE	21	28.60	38.25	50	67	77	88.35		13	98	0.21	-0.43
RP	9	15	21.25	30.50	37.75	49	56.40		4	73	0.72	0.77
PRP	10.30	13	17	24	30	38	44.05		4	57	0.82	0.92
EP	8.65	13	18	25	32	41.70	46.70		2	61	0.55	0.42
PEP	8.71	11.75	14.84	20.31	25	32.58	36.48		2	48	0.66	0.74
ENP	9.65	11	16.25	24	31	46	57		7	78	1.32	1.86
FMA	2	2	5	6	7	9	9.35		0	10	-0.49	0.17
CC	0	1	2	3	4	6	6		0	6	0.06	-0.69
Edad: 11-12
IC1ra	10	10	11	13	21	39.80	57.80		0	96	2.68	8.60
NI	84	98.80	128	128	128	128	128		73	128	-2.51	5.42
TC	48.80	60.40	66	76	85	94	95.80		46	103	-0.27	-0.27
TE	15.20	18.80	33	46	59	67.60	79.20		9	82	-0.07	-0.59
RP	7	9.40	18	29	38	45	52.60		6	69	0.46	0.17
PRP	8	9.40	14	23	30	35	40.80		7	54	0.63	0.44
EP	7	8.40	16	25	31	37.60	39.80		4	54	0.28	-0.12
PEP	6.60	8.60	12.50	19.53	24.22	29.38	31.09		5	42	0.42	0.03
ENP	7	8.40	13	21	29	40.60	46.40		4	53	0.72	0.15
FMA	1	1.40	4	5	7	9	9		0	10	-0.27	-0.39
CC	1	1.40	2	4	5	6	6		0	6	-0.24	-0.95

Nota: En gris se remarcan los indicadores utilizados en el AFE.

IC1ra: Intentos para completar 1ra categoría; NI: Número de intentos; TC: Total correctas: TE: Total errores; RP: Respuestas perseverativas; PRP: Porcentaje respuestas perseverativas; EP: Errores perseverativos; PEP: Porcentaje de errores perseverativos; ENP: Errores no perseverativos; FMA: Fallos para mantener la actitud; CC: Categorías completas.

Estudio normativo del WCST manual

Se encontraron diferencias significativas según la edad [F de Hotelling (22, 244) = 3.649, p < .001, η2 parcial = .25]. Los resultados no mostraron diferencias significativas en el desempeño del WCST manual según el sexo [F de Hotelling (11, 122) = 1.494, p = .142, η2 parcial = .12] y la interacción sexo x edad [F de Hotelling (22, 242) = .968, p = .505, η2 parcial = .08]. Los análisis univariados mostraron diferencias significativas según los grupos de edad en los indicadores IC1ra [F (2, 132) = 5.714, p = .004, η2 parcial = .08], NI [F (2, 132) = 13.959, p < .001, η2 parcial = .18], RC [F (2, 132) = 8.106, p < .001, η2 parcial = .11], TE [F (2, 132) = 7.831, p = .001, η2 parcial = .11], RP [F (2, 132) = 12.486, p < .001, η2 parcial = .16], PRP [F (2, 132) = 8.829, p < .001, η2 parcial = .12], EP [F (2, 132) = 13.181, p < .001, η2 parcial = .17], PEP [F (2, 132) = 8.418, p < .001, η2 parcial = .11], FMA [F (2, 132) = 14.397, p < .001, η2 parcial = .18] y CC [F (2, 132) = 5.434, p = .005, η2 parcial = .08]. No se encontraron diferencias por edad en ENP [F (2, 132) = 2.676, p = .073, η2 parcial = .04]. La Tabla 4 muestra las medias y desvíos según el sexo y el grupo de edad, así como el resultado de los univariados y de las comparaciones según la corrección de Bonferroni o Games-Howell, según corresponda. En la Tabla 5 se observan los percentiles por grupo de edad.

Tabla 4.

Medias y desvíos estándar de los puntajes del WCST manual según el sexo y el grupo de edad

Indicadores WCST	Sexo		Grupo de edad			p	η2 parcial	Contrastes Bc o Games Howell*
	Femenino	Masculino	7-8	9-10	11-12
	M(DE)	M(DE)	M(DE)	M(DE)	M(DE)
IC1ra	12.68(3.84)	14.16(12.45)	17.30(15.86)	12.26(3.88)	11.25(1.14)	.004	.08	A=B; B=C; A>C*
NI	104.32(22.07)	101.29(22)	112.43(18.04)	107.02(20.32)	90.90(21.33)	.000	.18	A=B; B>C; A>C
TC	76.06(9.98)	73.15(11.24)	77.57(10.07)	77.29(10.46)	69.60(9.91)	.000	.11	A=B; B>C; A>C
TE	28.56(16.08)	28.27(18.47)	35.07(17.56)	29.76(16.17)	21.65(15.92)	.001	.10	A=B; B=C; A>C
RP	18.30(12.75)	18.45(16.46)	26.43(15.81)	17.52(10.49)	12.27(14.05)	.000	.16	A>B; B=C; A>C*
PRP	16.36(8.87)	17.36(13.03)	22.27(11.17)	15.70(7.42)	13.33(12.42)	.000	.12	A>B; B=C; A>C
EP	15.14(10.63)	15.20(13.11)	21.91(12.96)	14.17(8.55)	10.29(11.05)	.000	.17	A>B; B=C; A>C*
PEP	13.55(7.38)	14.51(11.04)	18.56(9.12)	12.66(6.10)	11.43(10.85)	.000	.11	A>B; B=C; A>C
ENP	13.41(8.31)	13.03(9.31)	13.16(7.17)	15.60(9.91)	11.31(8.89)	.073	.03	A=B; B=C; A=C
FMA	1.37(1.06)	0.88(1.19)	1.64(1.14)	1.31(1.19)	0.48(0.83)	.000	.18	A=B; B>C; A>C*
CC	5.19(1.41)	5.21(1.32)	4.75(1.59)	5.19(1.36)	5.62(0.87)	.005	.08	A=B; B=C; A

Nota: En gris se remarca los indicadores utilizados en el AFE.

IC1ra: Intentos para completar 1ra categoría; NI: Número de intentos; TC: Total correctas: TE: Total errores; RP: Respuestas perseverativas; PRP: Porcentaje respuestas perseverativas; EP: Errores perseverativos; PEP: Porcentaje de errores perseverativos; ENP: Errores no perseverativos; FMA: Fallos para mantener la actitud CC: Categorías completas.

A: grupo de 7-8 años. B: grupo de 9-10 años. C grupo de 11-12 años.

p estadísticamente significativo para los grupos de edad.

Bc = test post hoc de Bonferroni.

Tabla 5.

Percentiles por grupo de edad de los indicadores del WCST manual

Indicadores WCST	Percentiles								Descriptivos
	5	10	25	50	75	90	95		Min.	Max.	Asimetría	Curtosis
Edad: 7-8
IC1ra	10	10	11.25	13	17.75	22	68		10	91	4.14	17.11
NI	79	85	97.25	124	128	128	128		76	128	-0.61	-1.21
TC	61.50	66	71	75	87	93	95.75		61	98	0.45	-0.72
TE	12.25	13.50	20	30	53	60.50	66.50		9	68	0.39	-1.19
RP	6.25	9	14.25	22	36.25	50.50	54		6	74	0.89	0.46
PRP	8.14	10.09	14.90	19.77	28.50	39.42	42.14		7	58	1.02	1.02
EP	6.25	8	11.50	18	30.50	41.50	49.25		6	59	0.97	0.41
PEP	7.96	9.02	11.68	16.97	23.75	32.42	38.49		7	46	1.12	0.94
ENP	3	4.50	8	11.50	18.75	25	27.75		3	28	0.54	-0.64
FMA	0	0	1	2	2.75	3	3.75		0	4	0.19	-0.82
CC	2	2	3	5.50	6	6	6		2	6	-0.89	-0.90
Edad: 9-10
IC1ra	10	10	11	11	12	16.80	25.80		10	28	3.27	10.67
NI	76.15	79.30	87.75	108	128	128	128		70	128	-0.21	-1.59
TC	61.30	64	69.25	76.50	83.25	93.40	95		56	99	0.21	-0.59
TE	10.15	12.30	15.75	28	41	51.70	65.05		7	72	0.71	-0.12
RP	6.15	7.30	9	15	21	35.70	37.85		5	50	1.24	1.12
PRP	8.14	8.53	9.85	13.93	19.61	27.89	29.57		5	39	1.17	1.13
EP	4.15	6	7	12	18.25	29.10	34.55		4	36	1.10	0.47
PEP	5.79	6.47	7.93	10.94	15.59	22.73	26.99		4	28	1.02	0.29
ENP	3.15	5.30	7	13	23.25	33.20	37		1	39	0.84	-0.02
FMA	0	0	0	1	2	3	3		0	5	0.88	0.59
CC	2	2.30	5	6	6	6	6		1	6	-1.81	2.27
Edad: 11-12
IC1ra	10	10	11	11	11	13	13.70		10	16	2.33	6.97
NI	71	73	77	81	93.75	128	128		70	128	1.06	-0.59
TC	60	61.30	63.25	65	73	87.40	88.35		44	101	0.92	1.62
TE	9.65	10	11.25	15	22.75	46.50	53.50		8	84	1.91	3.75
RP	5	6	6	8	12	24.40	30.05		4	100	5.05	30.50
PRP	6.35	7.03	8.16	9.90	12.99	20.08	23.75		5	78	4.23	19.11
EP	4.65	5	6	7	11.75	18.70	23.75		3	79	4.99	30
PEP	5.42	6.33	7.17	8.49	10.97	15.39	35.31		4	64	4.28	18.84
ENP	3	3.30	5	7.50	14.75	26.80	32.35		2	37	1.37	0.99
FMA	0	0	0	0	1	2	2		0	4	2.11	5.38
CC	3	5	6	6	6	6	6		2	6	-2.72	7.49

Nota: En gris se remarca los indicadores usados en el AFE.

IC1ra: Intentos para completar 1ra categoría; NI: Número de intentos; TC: Total correctas: TE: Total errores; RP: Respuestas perseverativas; PRP: Porcentaje respuestas perseverativas; EP: Errores perseverativos; PEP: Porcentaje de errores perseverativos; ENP: Errores no perseverativos; FMA: Fallos para mantener la actitud CC: Categorías completas.

Discusión

El WCST es uno de los test neuropsicológicos más ampliamente utilizados para evaluar la flexibilidad cognitiva reactiva tanto en niños (Arán Filippetti y Krumm, 2020;Arán Filippetti et al., 2020) como en adultos. Sin embargo, a la fecha, no existen estudios sobre la validez de constructo de la prueba en población infantil Argentina. La mayoría de los estudios han sido conducidos con población adulta (Bell et al., 1997; Bowden et al., 1998; Greve et al., 2005;Greve et al., 1997; Koren et al., 1998; Lin et al., 2000; Miranda et al., 2020; Periáñez y Barceló, 2001). Por otro lado, respecto de los estudios normativos, a la fecha existen normas únicamente para el WCST manual de 128 cartas en niños de habla hispana (Roselli y Ardila, 1993), pero no para la versión computarizada. Por tal motivo, el objetivo del presente estudio fue examinar la estructura factorial y la validez convergente del WCST en sus versiones computarizada y manual, y establecer baremos para cada versión en niños argentinos.

En primer lugar, en relación con la estructura dimensional del instrumento, los estudios previos con adultos que han empleado la versión manual, han encontrado estructuras factoriales de tres (Greve et al., 1998; Greve et al. 2002; Wiegner y Donders, 1999), dos (Miranda et al., 2020; Periáñez y Barceló, 2001) y un factor (Bowden et al., 1998). En el presente estudio, el AFE mostró una estructura unidimensional, conformada por indicadores de respuestas eficientes como ineficientes para las dos versiones del WCST, siendo semejante a lo reportado por Bowden et al. (1998) en estudiantes universitarios, mediante AFC. Se observó además que CC fue el indicador que más peso obtuvo, y fue el más utilizado para medir la flexibilidad cognitiva reactiva en los niños (Arán Filippetti y Krumm, 2020; Arán Filippetti et al., 2020). Sin embargo, al comparar la estructura hallada para cada versión, se observa que TC pesó únicamente en la versión computarizada del WCST. En la misma línea, si se observa la relación entre los indicadores de la versión manual, TC no se relaciona con el número de CC. En cambio, en la versión computarizada, TC se relaciona en forma positiva con el número de CC, lo que sugiere que los aciertos permiten alcanzar más categorías, pero la mayor cantidad de errores cometidos ocasionaría un desempeño más ineficiente.

En segundo lugar, en relación con el estudio de la validez convergente del WCST, se hallaron diferencias en cuanto a las correlaciones encontradas según la forma de administración. En efecto, para el WCST computarizado, los indicadores TC y CC correlacionaron en forma positiva y baja con la inteligencia general, la memoria de trabajo, la fluidez verbal y la inhibición. Los indicadores RP, EP y ENP, en cambio, no correlacionaron con estas variables cognitivas o lo hicieron en forma negativa pero baja. Para el WCST manual, sólo CC correlacionó en forma positiva y baja con la inteligencia general, la memoria de trabajo, la fluidez verbal y la inhibición. Los indicadores TC, RP, EP y ENP, presentaron correlaciones negativas moderadas, bajas o nulas con las variables cognitivas mencionadas. Es interesante destacar que las correlaciones negativas con memoria de trabajo y fluidez verbal fueron más elevadas con los indicadores de la versión manual. Si bien el desempeño en el WCST dependería de la memoria de trabajo para recordar las diferentes reglas y cambiar de manera flexible (Huizinga y van der Molen, 2007;Miyake et al., 2000; Nagahama et al., 2005), en el caso de la versión manual, parecería que la demanda de memoria de trabajo y cambio es un poco más elevada para no cometer errores y perseveraciones. Según Arán Filippetti et al. (2020), esto podría deberse a que el niño debe recordar el sistema de clasificación, a la vez que recibe la retroalimentación oral del examinador. Los resultados también mostraron que la inhibición parecería estar más relacionada con los indicadores del WCST computarizado. Estos resultados son consistentes con los estudios que informan que la capacidad de inhibir las respuestas de interferencia contribuye al rendimiento del WCST (Huizinga y van der Molen, 2007). En este sentido, se ha encontrado que inhibición es predictor del WCST computarizado, pero no del WCST manual, debido quizás a que en el WCST computarizado se requiere mayor autocontrol (Arán Filippetti et al., 2020), ante la pantalla que va mostrando si la respuesta es correcta o incorrecta. En síntesis, si bien se observan diferencias en las correlaciones obtenidas en función de la forma administrada, parecería que el indicador CC es el que refleja el componente ejecutivo de la tarea. Estos resultados proveen evidencia sobre la validez convergente del WCST, como medida de la FE y el razonamiento en niños.

Finalmente, los datos obtenidos en el presente estudio con respecto a las normas para niños de habla hispana están en consonancia con los hallazgos de estudios normativos anteriores. En primer lugar, en línea con lo reportado en estudios previos (Chelune y Baer, 1986;Coelho et al., 2012; Lin et al., 2000; Paniak et al., 1996; Shu et al., 2000), no se halló un efecto del sexo tanto en la versión manual como en la versión computarizada. Sin embargo, sí se halló un efecto de la edad en la versión manual del WCST. Específicamente, se observó que a la edad de 7-8 años los niños completan alrededor de 4.75 categorías, a los 9-10 años 5.19 categorías y a los 11-12 años, 5.62 categorías. Además, el número de errores perseverativos disminuye de 21.91 a los 7-8 años a 10.29 a los 11-12 años. Estos datos obtenidos para niños argentinos de habla hispana son similares a los informados en estudios realizados en otros países con niños de habla hispana (Rosselli y Ardila, 1993) e inglesa (Chelune y Baer, 1986). Rosselli y Ardila (1993) observaron que los niños de 7-8 años completan 4.6 categorías, a los 9-10 años 5.1 categorías y a los 11-12 años 5.7 categorías. Estos valores son ligeramente superiores a los informados por Chelune y Baer (1986)quienes hallaron que a los 7 años los niños completan 4.07 categorías, a los 8 años 4.05, a los 9 años 4.81, a los 10 años 5.60, a los 11 años 5.58 y a los 12 años 5.70 categorías. Para la versión computarizada, en cambio, no se hallaron cambios significativos con la edad; además, se observaron puntajes normativos inferiores a los encontrados en la versión manual. Específicamente, se halló que la edad de 7-8 años los niños completan alrededor de 3.50 categorías, a los 9-10 años, 3.24 categorías y a los 11-12 años 3.79 categorías y el número de errores perseverativos disminuye de 24.08 a los 7-8 años a 23.37 los 11-12 años. Estos datos son similares a los informados por Yeniceri y Altan-Atalay (2011), quienes observaron que a los 8 años completan 3.66 categorías, a los 9 años completan 3.98 categorías, a los 10 años 4.19 y a los 11 años 4.44 categorías. Valores aún más inferiores fueron reportados por Coelho et al. (2012) en niños brasileños, quienes hallaron además que el nivel de desempeño adulto se alcanzaría alrededor de los 13 años. En conjunto, y en línea con lo reportado en estudios previos (Arán Filippetti et al., 2020), los datos normativos sugieren que las dos versiones de la prueba del WCST no serían equivalentes en niños.

En síntesis, los resultados aquí expuestos sugieren que tanto los indicadores del WCST computarizado como del manual utilizados para el AFE valorarían una misma habilidad. No obstante, las diferencias observadas al examinar la validez convergente del WCST y el efecto de la edad en la tarea en función del modo de administración, enfatizan la importancia de no considerar ambas versiones como intercambiables en población infantil e interpretar cada versión con sus respectivas normas (Arán Filippetti et al., 2020). Finalmente, considerando que los niños lograrían un desempeño adulto para el WCST manual entre los 10 y 11 años y para el WCST computarizado entre los 11 y 13 años, la versión computarizada podría ser más apropiada para valorar el desarrollo de la flexibilidad cognitiva reactiva en adolescentes.

Antes de discutir las implicancias del estudio es necesario señalar algunas limitaciones. En primer lugar, el tamaño de la muestra empleado no permitió emplear las técnicas de AFC para examinar y comparar la naturaleza dimensional del instrumento en función del modo de administración. En segundo lugar, los participantes no fueron asignados al azar a las versiones del WCST. Finalmente, la muestra se limitó a niños con desarrollo típico y edades comprendidas entre los 7 y los 12 años. Por lo tanto, la generalización de los hallazgos a otros rangos de edad y muestras clínicas es limitada.

Los resultados del presente estudio tienen importantes implicaciones para la práctica clínica y la investigación. Por un lado, presenta por primera vez normas para la versión computarizada para niños de habla hispana. Este es un aporte de gran relevancia considerando que se está viviendo en una era digital, en la que existe una tendencia al uso de pruebas neuropsicológicas computarizadas (Coelho et al., 2012), que muchas veces facilitan el trabajo de evaluación y corrección, tanto en el área clínica como en el de investigación. Por otro lado, al limitar la interacción del experimentador con el participante, se elimina una potencial fuente de error, así como los errores comunes cometidos en la prueba por los administradores en el cálculo de los puntajes (Feldstein et al., 1999). Para finalizar, la información obtenida es de relevancia para un uso responsable del WCST en sus versiones computarizada y manual, y para obtener inferencias válidas en cuanto a los procesos ejecutivos que se encuentran implicados.

HTML generado a partir de XML-JATS por

References

Arán Filippetti, V. A. y Allegri, R. F. (2011). Verbal fluency in Spanish-speaking children: Analysis model according to task type, clustering, and switching strategies and performance over time. The Clinical Neuropsychologist, 25, 413-436. https://doi.org/10.1080/13854046.2011.559481

Arán Filippetti, V. y Krumm, G. (2020). A hierarchical model of cognitive flexibility in children: Extending the relationship between flexibility, creativity and academic achievement. Child Neuropsychology, 26(6), 770-800. https://doi.org/10.1080/09297049.2019.1711034

Arán Filippetti, V., Krumm, G. L. y Raimondi, W. (2020). Computerized versus manual versions of the Wisconsin Card Sorting Test: Implications with typically developing and ADHD children. Applied Neuropsychology: Child, 9(3), 230-245. https://doi.org/10.1080/21622965.2019.1570198

Avila, J. F., Verney, S. P., Kauzor, K., Flowers, A., Mehradfar, M. y Razani, J. (2019). Normative data for farsi-speaking Iranians in the United States on measures of executive functioning. Applied Neuropsychology: Adult, 26(3), 229–235. https://doi.org/10.1080/23279095.2017.1392963

Axelrod, B. N. (2002). Are normative data from the 64-card version of the WCST comparable to the full WCST? The Clinical Neuropsychologist, 16(1), 7-11. https://doi.org/10.1076/clin.16.1.7.8331

Bell, M. D., Greig, T. C., Kaplan, E. y Bryson, G. (1997). Wisconsin card sorting test dimensions in schizophrenia: Factorial, predictive, and divergent validity. Journal of Clinical and Experimental Neuropsychology, 19(6), 933–941. https://doi.org/10.1080/01688639708403774

Berg, E. A. (1948). A simple objective test for measuring flexibility in thinking. Journal of General Psychology,39, 15–22. https://doi.org/10.1080/00221309.1948.9918159

Bowden, S. C., Fowler, K. S., Bell, R. C., Whelan, G., Clifford, C. C., Ritter, A. J. y Long, C. M. (1998). The reliability and internal validity of the Wisconsin Card Sorting Test. Neuropsychological Rehabilitation, 8(3), 243-254. https://doi.org/10.1080/713755573

Chelune, G. J. y Baer, R. A. (1986). Developmental norms for the Wisconsin Card Sorting Test. Journal of Clinical and Experimental Neuropsychology, 8, 219-228. https://doi.org/10.1080/01688638608401314

Coelho, L. F., do Rosário, M. C., Mastrorosa, R. S., Miranda, M. C. y Amodeo Bueno, O. F. (2012). Performance of a Brazilian sample on the computerized Wisconsin Card Sorting Test. Psychology & Neuroscience, 5, 147-156. https://doi.org/10.3922/j.psns.2012.2.04

Fortuny, L. I. A. y Heaton, R. K. (1996). Standard versus computerized administration of the Wisconsin Card Sorting Test. The Clinical Neuropsychologist, 10(4), 419-424. https://doi.org/10.1080/13854049608406702

Faustino, B., Oliveira, J. y Lopes, P. (2020). Normative scores of the Wisconsin Card Sorting Test in a sample of the adult Portuguese population. Applied Neuropsychology: Adult. https://doi.org/10.1080/23279095.2020.1810040

Feldstein, S. N., Keller, F. R., Portman, R. E., Durham, R. L., Klebe, K. J. y Davis, H. P. (1999). A comparison of computerized and standard versions of the Wisconsin Card Sorting Test. The Clinical Neuropsychologist, 13(3), 303-313. https://doi.org/10.1076/clin.13.3.303.1744

Grant, D. A. y Berg, E. A. (1948). A behavioral analysis of degree of reinforcement and ease of shifling to newresponses in a Weigl-type card sorting problem. Journal of Experimental Psychology, 34, 404-411. https://doi.org/10.1037/h0059831

Grant, D. A. y Berg, E. A. (1996). Test de clasificación de cartas de Wisconsin. TEA Ediciones.

Greve, K. W. (2001). The WCST-64: A standardized short-form of the Wisconsin Card Sorting Test. The Clinical Neuropsychologist, 15(2), 228-234. https://doi.org/10.1076/clin.15.2.228.1901

Greve, K. W., Brooks, J., Crouch, J. A., Williams, M. C. y Rice, W. J. (1997). Factorial structure of the Wisconsin Card Sorting Test. British Journal of Clinical Psychology, 36(2), 283-285. https://doi.org/10.1111/j.2044-8260.1997.tb01414.x

Greve, K. W., Ingram, F. y Bianchini, K. J. (1998). Latent structure of the Wisconsin Card Sorting Test in a clinical sample. Archives of Clinical Neuropsychology, 13(7), 597-609. https://doi.org/10.1093/arclin/13.7.597

Greve, K. W., Love, J. M., Sherwin, E., Mathias, C. W., Ramzinski, P. y Levy, J. (2002). Wisconsin Card Sorting Test in chronic severe traumatic brain injury: Factor structure and performance subgroups. Brain Injury, 16(1), 29-40. https://doi.org/10.1080/0269905011008803

Greve, K. W., Stickle, T. R., Love, J. M., Bianchini, K. J. y Stanford, M. S. (2005). Latent structure of the Wisconsin Card Sorting Test: a confirmatory factor analytic study. Archives of Clinical Neuropsychology, 20(3), 355-364. https://doi.org/10.1016/j.acn.2004.09.004

Golden, C. J. (1999). Stroop, Test de Colores y Palabras. TEA Ediciones.

Heaton, S. K., Chelune, G. J., Talley, J. L., Kay, G. G., y Curtiss, G. (1993). Wisconsin Card Sorting Test manual: Revised and expanded. Psychological Assessment Resources.

Heaton, R. K., Chelune, G. J., Talley, J. L., Kay, G. G., y Curtiss, G. (1997). WCST, Test de clasificación de tarjetas de Wisconsin. TEA Ediciones.

Heaton, R. K., Chelune, G. J., Talley, J. L., Kay, G. G. y Curtiss, G. (2005). Teste Wisconsin de Classificação de Cartas: manual revisado e ampliado. Adaptação e padronização brasileira. Casa do Psicologo.

Huizinga, M. y van der Molen, M. W. (2007). Age-Group Differences in Set-Switching and Set-Maintenance on the Wisconsin Card Sorting Task. Developmental Neuropsychology, 31, 193–215. https://doi.org/10.1080/87565640701190817

Kaufman, A. S. y Kaufman, N. L. (2000). K-BIT. Test Breve de Inteligencia de Kaufman (K-BIT) (2ª edición). TEA Ediciones.

Kohli, A. y Kaur, M. (2006). Wisconsin Card Sorting Test: normative data and experience. Indian Journal of Psychiatry, 48(3), 181–184. https://doi.org/10.4103/0019-5545.31582

Koren, D., Seidman, L. J., Harrison, R. H., Lyons, M. J., Kremem, W. S., Caplan, B., Goldstein, J. M., Faraone, S. V. y Tsuang, M. T. (1998). Factor structure of the Wisconsin Card Sorting Test: Dimensions of deficit in schizophrenia. Neuropsychology, 12(2), 289–302. https://doi.org/10.1037/0894-4105.12.2.289

Laiacona, M., Inzaghi, M. G., De Tanti, A. y Capitani, E. (2000). Wisconsin card sorting test: a new global score, with Italian norms, and its relationship with the Weigl sorting test. Neurological Sciences, 21(5), 279–291. https://doi.org/10.1007/s100720070065

Leany, B. D., Benuto, L. T. y Thaler, N. S. (2013). Neuropsychological assessment with Hispanic clients. En Benuto L. (Ed.), Guide to psychological assessment with Hispanics (pp.351–376). Springer. https://doi.org/10.1007/978-1-4614-4412-1_22

Lin, C. C. H., Chen, W. J., Yang, H.-J., Hsiao, C. K. y Tien, A. Y. (2000). Performance on the Wisconsin Card Sorting Test among adolescents in Taiwan: Norms, factorial structure, and relation to schizotypy. Journal of Clinical and Experimental Neuropsychology, 22, 69–79. https://doi.org/10.1076/1380-3395(200002)22:1;1-8;FT069

Mardia, K. V. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 57(3), 519-530. https://doi.org/10.1093/biomet/57.3.519

Miranda, M., Coelho, L. F. y Bueno, O. F. A. (2009). Comparative study between north American and Brazilian children in the computerized and manual versions of the Wisconsin card sorting test. European Psychiatry, 24, S725. https://doi.org/10.1016/S0924-9338(09)70958-7

Miranda, A. R., Franchetto Sierra, J., Martínez Roulet, A., Rivadero, L., Serra, S. V. y Soria, E. A. (2020). Age, education and gender effects on Wisconsin card sorting test: standardization, reliability and validity in healthy Argentinian adults. Aging, Neuropsychology, and Cognition, 27(6), 807-825. https://doi.org/10.1080/13825585.2019.1693491

Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A. y Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks: A latent variable analysis. Cognitive Psychology, 41, 49–100. https://doi.org/10.1006/cogp.1999.0734

Nagahama, Y., Okina, T., Suzuki, N., Nabatame, H. y Matsuda, M. (2005). The cerebral correlates of different types of perseveration in the Wisconsin Card Sorting Test. Journal of Neurology Neurosurgery and Psychiatry, 76, 169–175. https://dx.doi.org/10.1136/jnnp.2004.039818

Paniak, C., Miller, H. B., Murphy, D. y Patterson, L. (1996). Canadian developmental norms for 9 to 14 year-olds on the Wisconsin Card Sorting Test. Canadian Journal of Rehabilitation, 9(4), 233–237.

Peretti Wagner, G. y Marceli Trentini, C. (2009). Assessing executive functions in older adults: A comparison between the manual and the computer-based versions of the Wisconsin Card Sorting Test. Psychology & Neuroscience, 2, 195-198. https://doi.org/10.3922/j.psns.2009.2.011

Pérez-Enríquez, C., García-Escobar, G., Florido-Santiago, M., Piqué-Candini, J., Arrondo-Elizarán, C., Grau-Guinea, L., Pereira-Cuitiño, B., Manero, R. A., Puig-Pijoan, A., Peña-Casanova, J. y Sánchez-Benavides, G. (2021). Estudios normativos españoles (proyecto NEURONORMA-Plus): Normas para el Wisconsin Card Sorting Test (WCST), la Figura Compleja Modificada de Taylor (FCMT) y el Ruff-Light Trail Learning Test (RULIT). Neurología. https://doi.org/10.1016/j.nrl.2021.05.017

Periáñez, J. A. y Barceló, F. (2001). Adaptación Madrid del test de clasificación de cartas de Wisconsin: Un estudio comparativo de consistencia interna. Revista de Neurología, 33(7), 611–618.

Pezzuti, L., Mastrantonio, E. y Orsini, A. (2013). Construction and validation of an ecological version of the Wisconsin card sorting test applied to an elderly population. Aging, Neuropsychology, and Cognition, 20(5), 567–591. https://doi.org/10.1080/13825585.2012.761668

Rosselli, M. y Ardila, A. (1993). Developmental norms for the Wisconsin Card Sorting Test in 5-to 12-year-old children. The Clinical Neuropsychologist, 7, 145-154. https://doi.org/10.1080/13854049308401516

Shan, I. K., Chen, Y. S., Lee, Y. C. y Su, T. P. (2008). Adult normative data of the Wisconsin card sorting test in Taiwan. Journal of the Chinese Medical Association, 71(10), 517-522. https://doi.org/10.1016/S1726-4901(08)70160-6

Shu, C. S., Tien, A. Y., Lung, F. W. y Chang, Y. Y. (2000). Norms for the Wisconsin Card Sorting Test in 6-to 11-year-old children in Taiwan. The Clinical Neuropsychologist, 14, 275-286. https://doi.org/10.1076/1385-4046(200008)14:3;1-P;FT275

Snyder, H. R., Miyake, A. y Hankin, B. L. (2015). Advancing understanding of executive function impairments and psychopathology: Bridging the gap between clinical and cognitive approaches. Frontiers in Psychology, 6, 328. https://doi.org/10.3389/fpsyg.2015.00328

Wagner, G. P. y Trentini, C. M. (2009). Assessing executive functions in older adults: a comparison between the manual and the computer-based versions of the Wisconsin Card Sorting Test. Psychology & Neuroscience, 2, 195-198. https://doi.org/10.3922/j.psns.2009.2.011

Wang, L., Kakigy, R. y Hoshiyama, M. (2001). Neural activities during Wisconsin Card Sorting Test — MEG observation. Cognitive Brain Research, 12, 19–31. https://dx.doi.org/10.1016/S0926-6410(01)00022-2

Welsh, M. C., Pennington, B. F. y Groisser, D. B. (1991). A normative-developmental study of executive function: A window on prefrontal function in children. Developmental Neuropsychology, 7, 131-149. https://doi.org/10.1080/87565649109540483

Wechsler, D. (2010). WISC IV, Escala de Inteligencia para niños de Wechsler – IV. Adaptación Argentina. Paidós.

Wiegner, S. y Donders, J. (1999). Performance on the Wisconsin Card Sorting Test after traumatic brain injury. Assessment, 6(2), 179-187. https://doi.org/10.1177/107319119900600205

Yeniceri, N. y Altan-Atalay, A. (2011). Age-related changes in the Wisconsin card sorting test performances of 8-to 11-year-old Turkish children. The Clinical Neuropsychologist, 25, 1179-1192. https://doi.org/10.1080/13854046.2011.613855

HTML generado a partir de XML-JATS por