Estudo de impacto · educação · Pandemia, saúde pública e vacinação · aprendizagem
Efeito do ensino remoto na pandemia sobre aprendizagem e risco de abandono na rede estadual de São Paulo, 2020 (decisão estadual; não estima ações do governo federal)
Guilherme Lichand, Carlos Alberto Doria, Onicio Leal-Neto e João Paulo Cossi Fernandes (2022). Artigo revisado por pares.
Registro em revisão de fontes; não publicado.
Estudo causal. Usa estratégia de identificação declarada e estima o efeito com incerteza, sob as hipóteses do próprio estudo.
O que o estudo examina
- Decisão ou política
- Suspensão das aulas presenciais e adoção do ensino remoto na rede estadual paulista (a partir de 16/03/2020, com estratégias remotas desde abril, sobretudo por televisão aberta e aplicativo), e a autorização municipal de retorno presencial no ensino médio no último bimestre de 2020. São decisões do governo estadual e das prefeituras, não do governo federal.
- Resultado estudado
- Risco de abandono (aluno sem nenhuma nota de matemática e de português registrada no bimestre) e notas nas avaliações padronizadas bimestrais da rede (AAP), do 6º ano do ensino fundamental à 3ª série do ensino médio.
- Período
- 2018–2020, com foco em 2019–2020.
- População ou unidade
- Universo de estudantes do 6º ao 12º ano da rede estadual de São Paulo: 4.719.696 observações no ensino fundamental II e 3.791.024 no ensino médio (2019–2020).
Método
Diferenças em diferenças: compara a variação entre o 1º bimestre (presencial) e o 4º bimestre de 2020 (remoto) com a mesma variação em 2019, quando todas as aulas eram presenciais; as provas foram remotas em todos os bimestres de 2020. Pareamento por escore de propensão e reponderação para seleção na realização das provas. Para o retorno presencial, diferenças triplas (ensino médio × ensino fundamental, municípios que autorizaram × não autorizaram, antes × depois), com efeito de intenção de tratar. Regressões de mínimos quadrados com efeitos fixos de série e erros-padrão agrupados por escola (ou município).
Por que é lido como estudo causal — e até onde
- Hipóteses de identificação
- Tendências paralelas entre bimestres: sem o ensino remoto, a variação entre o 1º e o 4º bimestre de 2020 teria sido igual à de 2019. O 1º bimestre de 2020 foi presencial, com prova remota, e os bimestres seguintes foram remotos. Como todas as provas de 2020 foram remotas e o currículo simplificado já valia no 1º bimestre, comparar bimestres dentro do mesmo ano mantém constantes o modo de prova e os professores. A seleção de quem faz a prova deve ser a mesma no 1º e nos demais bimestres de 2020, condicionada ao escore de propensão. Para o retorno presencial (diferenças triplas), a hipótese é a ausência de tendências diferenciais entre ensino médio e ensino fundamental nos municípios que autorizaram ou não a reabertura.
- Testes apresentados pelo estudo
- O texto principal apresenta: comparações ingênuas (colunas 1–2 da Tabela 1), que dão sinal oposto e mostram o viés de seleção e de modo de prova; pareamento por escore de propensão e reponderação (colunas 4–5), com resultado estável; painel balanceado só com alunos que fizeram todas as provas (efeito acima de 70% do principal, Tabela Supl. E.7, descrita no texto); ausência de variação sistemática das perdas com casos e mortes de covid-19 no município; na análise do retorno, efeito nulo para o ensino fundamental (P = 0,35), apresentado pelos autores como indício contra tendências diferenciais entre municípios. Também são mencionados um período-base alternativo e a validação da medida de risco de abandono (Seções Supl. A e E) e a checagem de manipulação das notas (Seção Supl. C.2). Esses testes suplementares NÃO foram lidos: só sua descrição no texto principal.
- Ameaças à validade
- Outros choques de 2020 concentrados nos bimestres 2–4 (renda, saúde, rotina familiar) coincidem com o ensino remoto e não são totalmente separáveis; os autores argumentam contra isso pela falta de relação com a incidência local de covid-19. O modo de prova remoto, com mais tempo para responder, pode ter afetado os bimestres de modo diferente. O risco de abandono é uma medida aproximada (falta de notas), com falsos positivos e negativos. Cerca de 16,7% das observações não têm nota, e a seleção pode ter mudado com o próprio tratamento. O retorno presencial é estimado por intenção de tratar, a partir de decretos municipais.
- Alcance da conclusão
- Vale para os estudantes do 6º ano ao 3º ano do ensino médio da rede estadual de São Paulo em 2020. O tratamento é o período de aulas remotas (fechamento das escolas com ensino remoto por TV e aplicativo) em comparação com aulas presenciais, nas condições dessa rede. As decisões examinadas são do governo estadual e das prefeituras (ator: estados), não do governo federal. NÃO estima efeitos de decisões federais (MEC, CNE, Lei 14.040/2020, conectividade), não mede o abandono efetivo, não se aplica diretamente a redes municipais, escolas privadas ou outros estados, e não explica a variação do Ideb ou do Saeb nacional.
Estimativa e incerteza
Sob ensino remoto, o risco de abandono aumentou 0,0621 (365%), e as notas caíram 0,32 desvio-padrão (−0,301 a −0,319 nas colunas 3–5 da Tabela 1), como se os alunos tivessem aprendido 27,5% do equivalente presencial. O retorno presencial parcial no ensino médio, a partir de novembro de 2020, elevou as notas em 0,023 desvio-padrão, 20% acima do grupo de comparação. Não houve efeito para o ensino fundamental, que voltou só com atividades optativas.
Limitações
- Risco de abandono é uma aproximação (falta de notas), não abandono observado; os autores reconhecem falsos positivos e negativos.
- Cobre só a rede estadual paulista; escolas privadas e redes municipais ficam fora. Os autores consideram a resposta de São Paulo próxima da mediana nacional, mas a generalização é hipótese.
- A decisão examinada é estadual e municipal. O estudo não avalia ações federais (MEC, CNE, Lei 14.040/2020, apoio à conectividade).
- Em 2020 as provas foram remotas e o currículo foi simplificado; a estratégia compara bimestres dentro do ano para neutralizar isso, mas mudanças diferenciais entre bimestres não podem ser totalmente descartadas.
- O efeito do retorno presencial é de intenção de tratar, baseado em decretos municipais, sem saber quais escolas de fato reabriram.
- Os autores apontam que seus resultados estão no extremo superior das perdas estimadas na literatura internacional, em parte porque o Brasil manteve escolas fechadas por mais tempo.
Referência e trechos
The impacts of remote learning in secondary education during the pandemic in Brazil — acessar
- Nature Human Behaviour, v. 6, n. 8, p. 1079–1086 (DOI 10.1038/s41562-022-01350-6); correção do editor DOI 10.1038/s41562-022-01420-9fichap. 1079, resumo (365%; 0,32 dp; 27,5%; 20%)
- Nature Human Behaviour, v. 6, n. 8, p. 1079–1086 (DOI 10.1038/s41562-022-01350-6); correção do editor DOI 10.1038/s41562-022-01420-9fichap. 1080–1081, seções "Institutional background", "Empirical strategy" e "Data and definition of outcomes"
- Nature Human Behaviour, v. 6, n. 8, p. 1079–1086 (DOI 10.1038/s41562-022-01350-6); correção do editor DOI 10.1038/s41562-022-01420-9fichap. 1081, Tabela 1 (Painéis A e B, colunas 1–5) e texto (0,0621, s.e. 0,0002; 0,32 dp, s.e. 0,0001)
- Nature Human Behaviour, v. 6, n. 8, p. 1079–1086 (DOI 10.1038/s41562-022-01350-6); correção do editor DOI 10.1038/s41562-022-01420-9fichap. 1083, Tabela 2 e texto (0,023 dp, s.e. 0,001); Discussão (limitações do indicador de abandono; resposta de São Paulo "típica")
Indicadores relacionados
Lacunas
- Continuação: Lichand e Doria, PNAS v. 121, n. 22 (2024), DOI 10.1073/pnas.2316300121. Lido só o resumo: as perdas por exposição mais longa ao ensino remoto não desapareceram com a volta às aulas, e políticas de recuperação adotadas por municípios e escolas teriam acelerado a recuperação. Não fichado.
- Não foi lido estudo com identificação causal em escala nacional (Saeb 2021) nem sobre decisões federais de educação na pandemia. O Acórdão TCU 2.620/2021, sobre a atuação do MEC, ficou inacessível (bloqueio anti-robô do portal do TCU).