TERCE 2013 Design
Methodology
Quantitative Study
Method(s)
- Overall approach to data collection:
- Assessment and self-administered surveys
- Specification:
- Cross-sectional
Target population
Students
(explanation in English)
- Students in the third and sixth grades in the participating countries
(explanations in Spanish)
- Estudiantes en tercer y sexto grado
- Sistema educativo formal
- Aptos para responder pruebas de logro de aprendizaje
- Escuelas reconocidas por el estado
- Población excluida
- Escuelas no formales
- Escuelas para adultos
- Escuelas para niños discapacitadol
- Escuelas monolingües de habla no español
Sample design
Método de selección de escuelas para el TERCE
- Estratificado
- Por conglomerados
- Bietápico
En la primera etapa se seleccionan escuelas (en cada estrato explícito) con probabilidad de selección proporcional al tamaño.
En la segunda etapa se selecciona aleatoriamente un aula, y se aplica a todos los alumnos que pertenecen a esa aula
Sample size
Per country
- Approx. 200 schools per country; minimum of 150 schools
- Approx. 4,000 students per country
In total
Altogether 3,065 schools participated in the study.
More than 3,200 third-grade and 3,600 sixth-grade classrooms participated.
A total of 135,417 students participated, of which
- 67,730 were in the third grade and
- 67,687 were sixth graders
A total of 9,408 teachers participated.
Data collection techniques and instruments
Achievement test
- Written format
- Two types of questions
- Multiple-choice
- Open-ended questions
- Test booklets
Background questionnaires
Print format
Techniques
- achievement test
- questionnaire
Languages
- Administration of TERCE instruments in 2 different languages
- The most common languages:
- Spanish (13 countries)
- Portuguese (1 country)
Translation procedures
- An international version in Spanish of the TERCE assessments and questionnaires was prepared.
- Then, the international Spanish-language version was translated into Portuguese.
- The Portuguese test and questionnaire translations were reviewed and adapted as necessary by Brazil.
Quality control of operations
Measures during data collection
(in English)
Countries were asked to conduct data-entry quality control procedures for 10% of the students.
(Details in Spanish)
- Luego de armado de bloques se controlan los siguientes aspectos: el correcto orden de los ítems en el bloque, la presencia de las adaptaciones nacionales solicitadas por los países para la prueba piloto, la correcta implementación de los nuevos ajustes a los ítems que lo requirieron, cumplimiento de los criterios gráficos generales de la diagramación (márgenes, estructura de ítems, x tamaño de números, tamaño de letras etc.).
- Al cierre del ensamblaje se revisa: el correcto orden de los bloques en el cuadernillo, la inclusión de portada e instrucciones, la correcta inclusión de los cambios derivados del primer control de calidad y los aspectos formales de diagramación (número de pregunta, estructura de ítems, organización en planas, etc.).
Measures during data processing and cleaning
(in Spanish)
- Reportes son enviados a los países para que sean revisados y corregidos en caso de ser necesario.
- Una de las verificaciones importantes que se realiza es la de ID duplicados y falta de correspondencia entre la información de las bases de datos exportadas desde DME y WINW3S. Con esto se corrobora que los ID sean únicos y que cuenten con su respectiva información en los distintos instrumentos. Para esto se utilizan las variables identificadoras de cada prueba.
- Además, se realiza la verificación de la estructura de la base de datos y esquemas de valores, donde se verifica que los esquemas de valores (perdidos y válidos) de las variables correspondan al esquema de valores regional.
- Se constatan los esquemas de valores de los cuestionarios enviados por los países y los esquemas regionales.
- Se verifica que ninguna categoría de respuesta quede fuera del esquema regional correspondiente.
- En el caso de las variables que requieren adaptaciones nacionales, estas son homologadas de manera que tengan la misma interpretación en cada uno de los países.
- Para cada país se presenta la distribución porcentaje de alumnos en cada categoría de respuesta, de la totalidad de las preguntas de cada uno de los cuestionarios. El propósito de este reporte es identificar casos de valores atípicos o posibles anomalías en los datos de manera tal de poder verificarlos y garantizar el control de los mismos. Esto incluye la cantidad de valores válidos y perdidos
Sources - Technical documentation