ERCE 2019 Design
Methodology
Quantitative Study
Method(s)
- Overall approach to data collection:
- Assessment and self-administered surveys
- Specification:
- Cross-sectional
Target population
Students
(explanation in English)
- Students in the third and sixth grades in the participating countries
(explanations in Spanish)
- Estudiantes en tercer y sexto grado
- Sistema educativo formal
- Aptos para responder pruebas de logro de aprendizaje
- Escuelas reconocidas por el estado
- Población excluida
- Escuelas no formales
- Escuelas para adultos
- Escuelas para niños discapacitado
- Escuelas monolingües de habla no español (o portugués, en el caso de Brasil)
Sample design
Método de selección de escuelas para el ERCE
- Estratificado
- Por conglomerados
- Bietápico
En la primera etapa se seleccionan escuelas (en cada estrato explícito) con probabilidad de selección proporcional al tamaño.
En la segunda etapa se selecciona aleatoriamente un aula, y se aplica a todos los alumnos que pertenecen a esa aula.
Sample size
Per country
- Approx. 200 schools per country; minimum of 150 schools
- Approx. 4,000 students per country
In total
Altogether more than 4,000 schools participated in the study.
More than 3,800 third-grade and 3,700 sixth-grade classrooms participated.
More than 160,000 students participated, of which
- 80,312 were in the third grade and
- 80,827 were sixth graders
More than 9,500 teachers participated. i.e., almost 4000 in Grade 3 and more than 5500 in Grade 6.
Data collection techniques and instruments
Application of the instruments on two days:
- On the first day, students completed the reading, writing and background questionnaires.
- On the second day, students completed the mathematics, science, and social-emotional skills questionnaires.
Achievement test
- Paper and pencil tests
- Types of questions
- Mathematics and Science
- Multiple-choice questions and
- Constructed-response questions
- Reading
- Multiple-choice questions (based on texts)
- Items were distributed in different booklets
- Between 69 and 84 items were applied in 3rd grade
- Between 84 and 112 items were applied in 6th grade
- Mathematics and Science
Social-emotional skills
- Student questionnaire
- Grade 6 only
- Paper and pencil format
Background questionnaires
- Written format
- Questionnaires for students (one administered in Grade 3 and a different one administered in Grade 6)
- Questionnaire for parents
- Questionnaire for teachers
- Questionnaire for principals
Techniques
- achievement test
- questionnaire
Languages
- Administration of ERCE instruments in 2 different languages
- The most common languages:
- Spanish (15 countries)
- Portuguese (1 country)
Translation procedures
- An international version in Spanish of the ERCE assessments and questionnaires was prepared.
- Then, the international Spanish-language version was translated into Portuguese.
- The Portuguese test and questionnaire translations were reviewed and adapted as necessary by Brazil.
- In addition, UNESCO provides each country with a linguistic adaptation of the instruments, to accommodate the different variations of Spanish spoken in the countries of the region.
Quality control of operations
Measures during data collection
(in English)
Countries were asked to conduct data-entry quality control procedures for 10% of the students.
(Details in Spanish)
- La utilización del software WinW3S permite llevar un control detallado de los materiales utilizados y de la participación en las sesiones de evaluación de cada estudiante en el estudio.
- El proceso de codificación de preguntas abiertas tiene un periodo de marcha blanca para entrenar a los codificadores y calibrar sus criterios.
- Los equipos nacionales deben recodificar un 10% de los instrumentos. Se calcula un índice de consistencia interna, el que debe mantenerse sobre el estándar exigido.
- Los países deben realizar una doble digitación de una muestra del 10% de los instrumentos.
Measures during data processing and cleaning
(in Spanish)
- Reportes son enviados a los países para que sean revisados y corregidos en caso de ser necesario.
- Una de las verificaciones importantes que se realiza es la de ID duplicados y falta de correspondencia entre la información de las bases de datos exportadas desde DME y WINW3S. Con esto se corrobora que los ID sean únicos y que cuenten con su respectiva información en los distintos instrumentos. Para esto se utilizan las variables identificadoras de cada prueba.
- Además, se realiza la verificación de la estructura de la base de datos y esquemas de valores, donde se verifica que los esquemas de valores (perdidos y válidos) de las variables correspondan al esquema de valores regional.
- Se constatan los esquemas de valores de los cuestionarios enviados por los países y los esquemas regionales.
- Se verifica que ninguna categoría de respuesta quede fuera del esquema regional correspondiente.
- En el caso de las variables que requieren adaptaciones nacionales, estas son homologadas de manera que tengan la misma interpretación en cada uno de los países.
- Para cada país se presenta la distribución porcentaje de alumnos en cada categoría de respuesta, de la totalidad de las preguntas de cada uno de los cuestionarios. El propósito de este reporte es identificar casos de valores atípicos o posibles anomalías en los datos de manera tal de poder verificarlos y garantizar el control de los mismos. Esto incluye la cantidad de valores válidos y perdidos.