La validez se refiere a si una herramienta (es decir, una prueba de aprovechamiento o una serie de preguntas de encuesta) mide lo que tiene la intención de medir. Implica recabar información sobre la correspondencia entre el contenido de los ítems del instrumento y el constructo teórico, así como mostrar evidencias de que las calificaciones del constructo se relacionan con algunos criterios externos.

Por ejemplo, la validación de un instrumento que pretende medir las ‘relaciones maestro-alumno’ exigiría pruebas de que las preguntas de la herramienta, y la estrategia para codificar y calificar las respuestas, llevaron a calificaciones consistentes con la definición teórica de las relaciones maestro-alumno. También requeriría reunir evidencias respecto a si las decisiones tomadas con base en la herramienta se relacionaron con alguna intervención en particular. Las opiniones recientes sobre la validez también requieren que tomemos en cuenta toda clase de decisiones tomadas a partir de la evaluación; una prueba es válida sólo si son aptas, significativas y útiles las inferencias hechas a partir de los resultados.

El proceso de medición incluye la asignación de números a categorías de observaciones del “mundo real”. Por lo general, el instrumento es una técnica para relacionar lo que observamos en el mundo real con algún constructo latente o no observado que existe sólo como parte de una teoría (Messick, 1989; Wilson, 2005). El constructo latente puede ser una característica psicológica, como la autoestima, o una medición del clima de aprendizaje en el salón de clase. El proceso de medición por lo general se lleva a cabo porque deseamos tomar ciertas decisiones basándonos en las calificaciones de las personas en el constructo subyacente.

shutterstock_73412134El primer paso para establecer la validez de una medición de NuestraESCUELA consiste en determinar una definición teórica del constructo. Esto se logra típicamente por medio de una revisión de la literatura y buscando las opiniones de expertos. El siguiente paso consiste en identificar las preguntas que reflejan el constructo definido. Este proceso requiere discusiones exhaustivas con expertos, así como con maestros y alumnos en grupos de enfoque, y una revisión de otras herramientas.

Se recaban datos para varias preguntas potenciales por medio de pequeños estudios pilotos (típicamente, de aproximadamente 50-100 estudiantes), y se analizan usando dos técnicas psicométricas: análisis de factores y la teoría de respuesta al ítem (TRI). El análisis proporciona una indicación de lo bien que se integran las preguntas para proporcionar una medición de un solo constructo unificado, y si cada pregunta contribuye a la medición confiable del constructo. La validez de nuestras mediciones exige tomar en cuenta cómo se interpretan y se usan los resultados en el contexto escolar. Las mediciones de resultados o procesos escolares derivan típicamente su significado a partir de uno de los siguientes tres métodos:

1) comparando los resultados de una escuela con otro estándar, como el promedio estatal o de una jurisdicción;

2) comparando los resultados de una escuela con los resultados de otras escuelas; y

3) dándole seguimiento al desempeño de una escuela al paso del tiempo.

Los informes interactivos para las encuestas estudiantiles de NuestraESCUELA utilizan los tres enfoques para darle significado a las mediciones de involucramiento, bienestar y clima del salón de clase y de la escuela. Los resultados de una medición se pueden comparar con la media nacional o la calificación promedio de las escuelas de grados 6 a 8 o las escuelas secundarias. La media nacional, o calificación promedio, se conoce generalmente como ‘la norma’. Una escuela puede usar información sobre la norma nacional para establecer sus propios estándares.

En algunos estados y jurisdicciones, las calificaciones promedio de las pruebas se hacen públicas en ‘tablas de clasificación’, que ordenar las escuelas con base en su desempeño, sin ninguna consideración de la capacidad o antecedentes familiares de los alumnos que asisten a la escuela. Por otra parte, para muchas mediciones escolares, las calificaciones promedio de la mayoría de las escuelas se ubican dentro de un rango estrecho en la parte media de la distribución. Incluso un cambio pequeño en el desempeño de una escuela puede afectar su posición dentro de la clasificación. Así, las comparaciones no ajustadas de escuelas tienden a ser engañosas e injustas para los maestros y administradores escolares.

The Learning Bar considera la clasificación de las escuelas como algo negativo porque es un proceso que fomenta la competencia más que la discusión sobre la manera más adecuada de mejorar los resultados de los alumnos.

En lugar de clasificar las escuelas, nuestras calificaciones para cada plantel se comparan con una ‘escuela análoga’. En cuanto el alumno completa la encuesta, la calificación de un alumno análogo se calcula también a partir de la base de datos nacional. Esto se hace sacando un promedio de las calificaciones de una medición de todos los demás alumnos del mismo sexo, grado escolar, nivel escolar de los padres, estructura familiar y nivel de posesiones educativas en casa. Si, por ejemplo, 600 alumnos de una escuela completan las preguntas de una medición, entonces la calificación promedio de la escuela para esa medición se compara con la calificación promedio de 600 alumnos análogos. Esto proporciona una comparación más razonable, porque toma en cuenta la composición demográfica de la escuela.

Darle seguimiento a los cambios de desempeño escolar proporciona una manera de evaluar los efectos de los esfuerzos de reforma escolar dirigidos a mejorar los resultados de los alumnos. Los informes de NuestraESCUELA pueden mostrar cambios desde el principio hasta el final del año escolar, o de un año a otro.

Nos esforzamos por incrementar la validez de nuestras mediciones realizando talleres y seminarios en línea para proporcionar a los clientes las habilidades necesarias para interpretar y usar los datos resultantes en formas apropiadas. Por ejemplo, una escuela con calificaciones relativamente bajas en clima de aprendizaje en el salón de clase quizá desee enfocar sus esfuerzos de desarrollo profesional en estrategias para mejorar la disciplina en el salón de clase.

Nos preguntan con frecuencia si el uso de NuestraESCUELA conduce a mejoras en las calificaciones de pruebas estatales o de la jursidicción. Como sucede con cualquier programa de seguimiento de datos, el éxito de NuestraESCUELA depende de que el personal escolar se involucre con los datos en formas que den prioridad a los cambios en las prácticas en el aula y en el clima de la escuela. Resultados recientes del estudio de la Asociación Educativa Canadiense (AEC), ¿Qué hiciste en la escuela hoy?, indican que todos los planteles que usan NuestraESCUELA mejoraron sus niveles de involucramiento estudiantil. No obstante, el grado de mejora varió entre escuelas, y la mayoría de los avances se lograron después del segundo año de utilizar NuestraESCUELA. El éxito de la iniciativa es atribuible en parte a los esfuerzos de la AEC, Galileo y TLB en la realización de talleres para ayudar a las escuelas a usar los datos, con el fin de llevar a cabo cambios en las prácticas de los maestros en el salón de clase.