|
|
|
Universidade Federal de Santa Maria
Econ. e Desenv., Santa Maria, v. 35, e75433, 2023
DOI: 10.5902/1414650975433
ISSN 2595-833X
Submissão: 04/05/2023 • Aprovação: 16/08/2024 • Publicação: 19/08/2024
5 ENSINO MÉDIO INOVADOR EM SANTA CATARINA
Artigos
O impacto do Programa Ensino Médio Inovador sobre as proficiências do Sistema de Avaliação da Educação Básica (SAEB) em Santa Catarina
The impact of the Innovative High School Program on proficiencies in the Basic Education Assessment System (SAEB) in Santa Catarina
Marcos Ezequiel AbregúI
Michele RomanelloI
IUniversidade
Federal de Santa Catarina Florianópolis,
SC, Brasil
RESUMO
O Programa Ensino Médio Inovador (ProEMI) é uma ação do Ministério da Educação para reelaborar os currículos das escolas estaduais participantes de Ensino Médio. O ProEMI tem como objetivo o desenvolvimento de um currículo mais dinâmico e inovador. O objetivo do artigo é avaliar o impacto do programa ensino médio inovador sobre a proficiência em língua portuguesa e matemática do Sistema de Avaliação da Educação Básica (SAEB) dos alunos do terceiro ano do ensino médio no ano de 2019 em Santa Catarina. Para conseguir esse objetivo a metodologia utilizada é quantitativa: o método quase experimental do Pareamento por Escore de Propensão (PSM) é aplicado utilizando os dados do SAEB. Após a aplicação do Pareamento por Escore de Propensão, foram identificados um efeito não significante estatisticamente sobre a proficiência em língua portuguesa e um efeito positivo, significante estatisticamente, de 11,33 pontos sobre a proficiência em matemática. De acordo com esses resultados, o ProEMI não apresenta efeitos sobre a proficiência em língua portuguesa, enquanto, por outro lado, proporciona um efeito positivo sobre a proficiência em matemática.
Palavras-chave: Economia; Desenvolvimento socioeconômico; Educação
ABSTRACT
The Programa Ensino Médio Inovador (Innovative Secondary Education Program) (ProEMI) is an action by the Ministry of Education to redesign the curricula of participating state secondary schools. ProEMI aims to develop a more dynamic and innovative curriculum. The objective of this paper is to evaluate the impact of the ProEMI on proficiency in Portuguese and mathematics in the Basic Education Assessment System (SAEB) of third-year high school students in 2019 in Santa Catarina state. To achieve this objective, the methodology used is quantitative: the quasi-experimental method of Propensity Score Matching (PSM) is applied using SAEB data. After applying Propensity Score Matching, a statistically non-significant effect on proficiency in Portuguese and a positive, statistically significant, effect of 11.33 points on proficiency in mathematics were identified. According to these results, ProEMI has no effects on proficiency in Portuguese, while, on the other hand, it positively affects proficiency in mathematics.
Keywords: Economy; Sociaeconomic development; Education
O Programa Ensino Médio Inovador (ProEMI) é uma ação do Ministério da Educação para a reelaborar os currículos das escolas estaduais participantes de Ensino Médio. A introdução do ProEMI tem como objetivo apoiar e fortalecer os Sistemas de Ensino Estaduais e Distrital com vistas a um redesenho da Proposta Curricular para o Ensino Médio por meio de uma aprendizagem mais moderna.
Explicitamente, o objetivo do ProEMI é e fortalecer e apoiar os Sistemas de Ensino Estaduais e Distrital no desenvolvimento de propostas curriculares inovadoras nas escolas de Ensino Médio, proporcionando apoio técnico e financeiro, consoante à disseminação da cultura de um currículo dinâmico e flexível, que atenda às expectativas e necessidades dos estudantes e às complexas demandas da sociedade atual.
Desta forma, o programa busca promover a formação integral dos estudantes e fortalecer o protagonismo juvenil com a oferta de atividades que promovam a educação científica e humanística, a valorização da leitura e da cultura, o aprimoramento da relação teoria e prática, da utilização de novas tecnologias e o desenvolvimento de metodologias criativas e emancipadoras.
A criação do ProEMI é justificada pelo baixo desempenho obtido pelos estudantes brasileiros, considerando os índices de abandono e reprovação. O ensino médio apresenta, de fato, os piores números no Índice de Desenvolvimento da Educação Básica (IDEB) e números de evasão preocupantes. O IDEB do Ensino Médio estava em 4,2 pontos no ano de 2019, numa escala de 10. No ano de 2021, a taxa de reprovação era 4,2 e a taxa de abandono era de 5,0, apresentando taxas superiores a 10,0 em alguns estados. Sem dúvidas, esses dados reforçam a prioridade de modificar o currículo do ensino médio.
Contudo, a criação de um programa para modificar essa situação não implica automaticamente uma melhora nos índices de desempenho das escolas participantes. O programa pode não alcançar os resultados esperados por causa de algumas situações, como, por exemplo, o fato que outros fatores podem afetar as variáveis de resultado, ou o programa não foi criado / implementado de forma correta.
Por isso, se faz necessária a implementação de uma avaliação de impacto de modo a identificar de forma robusta os efeitos do ProEMI sobre o desempenho dos alunos do ensino médio em Santa Catarina e, assim, fornecer evidências de eficácia que possam ajudar a melhorá-lo.
Portanto, o objetivo do artigo é avaliar o impacto do programa ensino médio inovador sobre a proficiência em língua portuguesa e matemática do Sistema de Avaliação da Educação Básica (SAEB) no ano de 2019 em Santa Catarina. Para conseguir esse objetivo a metodologia utilizada é quantitativa: o método quase experimental do Pareamento por Escore de Propensão é aplicado utilizando os dados do SAEB.
O artigo é composto por sete seções, incluindo a presente introdução: na segunda seção o ProEMI é apresentado, na terceira temos uma breve revisão da literatura, na quarta apresenta-se os dados e a metodologia, na quinta, os dados do ensino inovador em Santa Catarina são analisados, na sexta seção mostra-se os resultados obtidos e na última, a conclusão é apresentada
2 ENSINO MÉDIO INOVADOR
O Programa Ensino Médio Inovador (ProEMI) foi instituído pela Portaria nº 971, de 9 de outubro de 2009, no contexto da implementação das ações voltadas ao Plano de Desenvolvimento da Educação – PDE, e desde 2010, a Secretaria de Estado da Educação de Santa Catarina vem implementando-o.
O objetivo fundamental é oportunizar ao adolescente e ao jovem a expansão do tempo escolar, garantindo uma formação integral com a inclusão de atividades que deixem o currículo mais dinâmico, integrado e com conteúdos curriculares organizados a partir de um planejamento interdisciplinar construído de forma coletiva.
Nesse sentido, o ProEMI propõe a elaboração do Projeto de Redesenho Curricular (PRC) que permite o desenvolvimento de atividades integradoras que articulam as dimensões do trabalho, da ciência, da tecnologia e da cultura, contemplando as numerosas áreas do conhecimento a partir de 8 "macrocampos": Acompanhamento Pedagógico; Iniciação Científica e Pesquisa; Leitura e Letramento; Cultura Digital; Cultura e Artes; Comunicação e uso de Mídias; Cultura Corporal e Participação Estudantil.
O PRC apresentado pela escola articula ações que propõem mudanças curriculares, tanto em relação aos conhecimentos e conteúdos convencionais, quanto em metodologias inovadoras, saindo do formato tradicional e possibilitando aos jovens uma relação mais profunda com o conhecimento e a ciência, conduzindo-os a formação humana integral. Para esse propósito, é importante que se garanta no currículo, as dimensões do trabalho da Ciência, da Tecnologia e da Cultura como eixos estruturantes na formação dos jovens.
Macrocampo é um âmbito de ação pedagógico-curricular no qual se realizam atividades interativas e integradoras dos conhecimentos e saberes, dos tempos e espaços e dos sujeitos envolvidos com a ação educacional. É um eixo a partir do qual é possível a integração curricular com o objetivo principal de superar a fragmentação e a hierarquização dos saberes. Os macrocampos dos PRCs têm como função principal dar movimento às disciplinas, superando a forma fragmentada e a falta de diálogo entre os componentes de uma mesma área de conhecimento e entre diversas áreas, promovendo assim a interdisciplinaridade.
Em resumo, o ProEMI tem como objetivo o desenvolvimento de um currículo mais dinâmico e inovador, que abranja os conhecimentos dos diferentes campos, incluindo interdisciplinaridade e consideração da realidade, como também, as necessidades e as expectativas dos alunos, sendo que as Secretarias de Educação Estaduais e Distritais aderem ao ProEMI voluntariamente.
As mesmas Secretarias indicam as escolas que recebem ajuda técnica e financeira, por meio do Programa Dinheiro Direto na Escola (PDDE)[1], para elaboração e implementação das Propostas de Redesenho Curricular (PRC).
O Ministério da Educação (2009) emitiu um documento orientador do Ensino Médio Inovador, o qual descreve as ações do programa:
● disciplinas optativas e acompanhamento pedagógico (Língua Portuguesa e Matemática;
● oficinas;
● clubes de interesse;
● seminários integrados;
● grupos de pesquisa;
● trabalhos de campo;
● estágios direcionados para os estudantes para promover a integração com o mundo do trabalho;
● inclusão de novas mídias e tecnologias educacionais;
● práticas desportivas e de expressão corporal;
● línguas adicionais/estrangeiras.
Estas ações são incorporadas gradativamente ao currículo, ampliando o tempo na escola, na perspectiva da educação integral e, também, a diversidade de práticas pedagógicas.
Do ponto de vista da carga horaria, o ProEMI deve ampliar gradualmente a carga horária mínima das escolas participantes de 2.400 para 3.000 distribuídas ao longo de três anos.
Em 2022 iniciou-se o Novo Ensino Médio para todas as escolas, nova estrutura de educação, na qual os estudantes passam a ter uma nova organização curricular. A presença dessas mudanças no currículo escolar mostra que o MEC faz esforços no sentido de propor soluções para o ensino médio. No entanto, tão fundamental quanto propor soluções é realizar avaliações para tentar estimar o impacto dos programas após alguns anos de implementação.
3 REVISÃO DA LITERATURA
A literatura sobre o Ensino Médio Inovador mostra, por um lado, algumas pesquisas que evidenciam o caráter inovador do programa e os benefícios para os alunos, enquanto, por outro lado, algumas pesquisas corroboram a falta de inovação do programa e ausência de melhorias no ensino médio nas escolas participantes.
Em um primeiro momento a nossa análise tratará do primeiro grupo de pesquisas.
Camargo (2015) analisou a formação ofertada pelo Unibanco aos supervisores da parceria PROEMI/Jovem de Futuro e a rotatividade desses profissionais, e para a interpretação dos resultados, ele seguiu uma triangulação entre as percepções de satisfação da formação destes supervisores, os indicadores de rotatividade extraídos dos relatórios de frequência e as características das respostas obtidas.
O autor aplicou as fichas de avaliação a todos os participantes das formações no estado do Ceará, nas três formações oferecidas entre agosto de 2012 e dezembro de 2013, sendo considerado satisfeito com o curso o agente que responde “estou satisfeito” em, no mínimo, 75% dos itens.
Os dados apontaram uma média de aprovação de 80% para os eixos considerados na avaliação das formações, mas o resultado de um dos eixos chamou atenção: quando questionados se as “Dúvidas [são] esclarecidas”, cerca de 43% dos participantes apontaram que “concorda em parte” e 1,4% “discorda em parte”; e quando questionados sobre a “Contribuição na função” que exercem, 13,7% disseram que “concordo em parte”.
Isto não era esperado pelo fato de que a formação visa instrumentalizar os articuladores de gestão e superintendentes de ensino para a prática da supervisão, e isso levantou a hipótese de se o fato da rotatividade dos profissionais poderia ter influência neste contexto, ou seja, por eles não terem participado da formação anterior faltou alguma base de informação para compreensão dos conteúdos da formação seguinte, e por tanto, pode-se gerar uma dificuldade no entendimento dos conteúdos e uma conexão deste com sua prática diária enquanto supervisor (Camargo, 2015).
Para a Rotatividade nas Formações, foram analisadas três listas de presença, com 134 assinaturas, entre os períodos de agosto de 2012 a dezembro de 2013. Ele observou que a rotatividade ficou entre 16% e 19%, que poderia ser considerada alta, pois há um total de 36% de supervisores que não participaram de todas as formações, correspondendo a mais de um terço destes profissionais, gerando assim, um prejuízo moderado no investimento realizado.
Por último, na Análise de entrevistas, o material foi enviado a 4 articuladores de gestão e 15 superintendentes de ensino, que atuam como supervisores do ProEMI/JF na região metropolitana de Fortaleza, e foram recebidas 14 respostas do roteiro de entrevista. Em relação às características gerais dos respondentes, 10 Superintendentes e 4 Articuladores de gestão responderam à entrevista, todos possuindo ensino superior completo, predominantemente nas licenciaturas, e atuando recentemente no cargo, variando entre nove meses a três anos na função.
Analisadas as respostas aos itens da entrevista, o autor percebeu, entre outras considerações, que por um lado, a maioria dos respondentes fazem apenas uma menção superficial dos elementos de planejamento e que a formação dos supervisores ao discutir ferramentas de acompanhamento e monitoramento não apresentam total sucesso na instrumentalização destes.
Mas, por outro lado, no eixo sobre fatores de sucesso escolar, ele observou a aproximação da escola com a comunidade como um dos fatores de sucesso, e destacou que são quase unânimes as respostas que afirmam que as formações têm impacto positivo sobre a atuação de todos os envolvidos.
Em síntese, o autor afirma que o ProEMI estimula uma maior integração entre a escola e a comunidade e consequentemente propõe uma mudança na pedagogia das escolas, incentivando uma reflexão acerca do currículo e de suas necessidades particulares.
Pinto (2016), em sua pesquisa sobre o papel do professor articulador de projetos e sua equipe pedagógica no ProEMI, mostra que o Programa incentiva uma mais ampla ação dos professores, tornando-os agentes principais da inovação, por meio do trabalho interdisciplinar. Conforme a autora, a diversificação resultante do redesenho curricular do ensino médio pode fazer com que a dicotomia histórica educação propedêutica e educação profissionalizante diminua. O impacto mais evidente é a promoção de uma educação de fato integral e inclusiva.
Figueiredo (2015) ao estudar o ProEMI em duas escolas públicas do Distrito Federal, afirma que o ProEMI é um programa inovador, enquanto que gerou uma nova modalidade de organização da escola, ampliando o espaço e o tempo do ensino e expandindo o papel dos professores e dos alunos na aprendizagem.
Em um segundo momento, a nossa análise tratará das pesquisas que avaliam negativamente o ProEMI. De acordo com Nogueira, et al. (2018), o Programa Ensino Médio Inovador, incentivando mudanças exclusivamente visando a reconfiguração curricular, demonstra um entendimento de inovação que se reduz à gestão e à organização de processos. De modo geral, a inovação se reduz a um rearranjo de fatores já existentes para gerar uma nova realidade.
Ribeiro da Silva (2016) foi analisando o ProEMI por meio de um questionário enviado às 2.006 escolas participantes do programa no ano de 2013. O questionário foi respondido por 893 escolas. Nas respostas, os professores e gestores ressaltaram, entre as experiências vivenciadas dentro das escolas, que algumas têm uma maior proximidade em relação às intenções do ProEMI: desenvolvimento de projetos disciplinares ou interdisciplinares, maior participação dos alunos e importância da aquisição de materiais.
Os professores e gestores também enfatizaram algumas experiências vividas pelos sujeitos das escolas: maior conexão entre alunos, entre professores e entre alunos e professores; maior curiosidade por parte dos alunos; maior interesse dos alunos pela pesquisa; prática ao uso de tecnologias digitais; retorno à escola de alunos desistentes; e maior interesse pela aprendizagem geral na escola.
As variáveis utilizadas neste artigo são obtidas, na maioria, utilizando os microdados do Sistema de Avaliação da Educação Básica (SAEB) de 2019. Somente a variável que identifica o tratamento, ou seja, a implementação do Ensino Médio Inovador na escola, tem origem na Secretaria de Estado de Educação de Santa Catarina.
A tabela A1, mostra as variáveis utilizadas, suas descrições e origens.
Tabela A1 – Descrição das variáveis
|
(Continua) |
||
|
Variável tratamento |
Descrição |
Fonte |
|
Ensino médio inovador |
1: O ensino médio inovador foi implementado na escola 0: O ensino médio inovador não foi implementado na escola |
Secretaria de Estado de Educação de Santa Catarina |
|
Variáveis dependentes |
Descrição |
|
|
Proficiência língua portuguesa |
Proficiência em Língua Portuguesa transformada na escala única do SAEB |
Microdados SAEB |
|
Proficiência matemática |
Proficiência do aluno em Matemática transformada na escala única do SAEB |
Microdados SAEB |
|
Covariadas referentes ao aluno |
Descrição |
|
|
Branco/Amarelo |
1: Cor branca ou amarela 0: Cor preta, parda ou indígena |
Microdados SAEB |
|
|
|
|
|
Ensino superior mãe |
1: Ensino superior é a maior escolaridade da mãe 0: A escolaridade da mãe é inferior ao ensino superior |
Microdados SAEB |
|
Pelo menos um computador |
1: O aluno tem pelo menos um computador em casa 0: O aluno não tem computador em casa |
Microdados SAEB |
|
Wi-fi |
1: O aluno tem rede wi-fi em casa 0: O aluno não tem rede wi-fi em casa |
Microdados SAEB |
|
Somente escola pública |
1: A partir do primeiro ano do ensino fundamental o aluno estudo somente em escola pública 0: O aluno estudo pelo menos um ano em escola privada. |
Microdados SAEB |
|
Incentivo a estudar |
1: Os pais ou responsáveis incentivam sempre o aluno a estudar 0: Os pais ou responsáveis incentivam o aluno a estudar de vez em quando, ou nunca. |
Microdados SAEB |
|
Frequentou pré-escola |
1: O aluno entrou na escola com 3 anos ou menos 0: O aluno entrou na escola com 4 anos ou mais |
Microdados SAEB |
|
Covariadas referentes a escola |
Descrição |
|
|
Localização Urbana |
1: A escola está localizada em área urbana 0: A escola está localizada em área rural |
Microdados SAEB |
|
Indicador de Adequação da Formação Docente |
Indicador de Adequação da Formação Docente para o Ensino Médio |
Microdados SAEB |
Fonte: Elaboração dos autores
O SAEB é um processo de avaliação da educação básica, em larga escala, realizada periodicamente pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). O SAEB apresenta os níveis de aprendizagem dos estudantes avaliados conforme a proficiência de Língua Portuguesa e Matemática, para cada uma das fases escolares. Neste artigo são consideradas as proficiências dos alunos do terceiro ano do ensino médio. Além das provas de proficiência, no SAEB são aplicados questionários para alunos, professores e diretores das escolas avaliadas, visando captar as características socioeconômicas dos alunos, as atividades de estudo, o perfil e as condições de trabalho dos profissionais e todas as características das escolas (Gomes, 2019).
O método utilizado é o Pareamento por Escore de Propensão (PSM). PSM é um método quase experimental no qual o pesquisador usa técnicas estatísticas para construir um grupo de controle artificial, combinando cada unidade tratada com uma unidade não tratada de características semelhantes. Especificamente, o PSM calcula a probabilidade de uma unidade se inscrever ou participar em um programa com base nas características observadas. Este é o escore de propensão. Então, o PSM combina unidades tratadas com unidades não tratadas com base no escore de propensão. O PSM parte do pressuposto de que, dependendo de algumas características observáveis, as unidades não tratadas podem ser comparadas às unidades tratadas, como se o tratamento tivesse sido totalmente randomizado. Dessa forma, o PSM busca imitar a randomização para superar questões de viés de seleção que afetam os métodos não experimentais.
Dado que todas as características relevantes para a participação no tratamento e resultados são observáveis no conjunto de dados e conhecidas pelo pesquisador, o escore de propensão produzirá correspondências válidas para estimar o impacto de uma intervenção. Se houver características não observáveis entre as unidades tratadas e não tratadas, entretanto, o PSM fornecerá estimativas tendenciosas (Rosenbaum, Rubin, 1983).
5 ENSINO MÉDIO INOVADOR EM SANTA CATARINA
Antes da aplicação do pareamento por escore de propensão, é interessante analisar alguns dados sobre o ensino médio inovador no estado de Santa Catarina. A Tabela 1, a seguir, mostra presença do Ensino Médio Inovador na rede estadual de ensino médio.
Tabela 1 – Presença do Ensino Médio Inovador na rede estadual de ensino médio
|
|
Escolas |
Matrículas |
Turmas |
|
Ensino Médio Inovador |
13,64% |
4,24% |
4,73% |
Fonte: Elaboração dos autores
Segundo as percentagens da Tabela 1, 13,64% das escolas de ensino médio da rede estadual têm, pelo menos, uma turma de ensino médio inovador. Isso se reflete em uma baixa percentagem tanto das matrículas (4,24%) quanto das turmas (4,73%) do Ensino Médio Inovador em relação ao total da rede de ensino médio estadual.
A tabela 2, a seguir, apresenta os valores médios das variáveis utilizadas na pesquisa, considerando a presença ou menos do Ensino Médio Inovador.
Tabela 2 – Valores médios das variáveis
|
|
Com Ensino Médio Inovador |
Sem Ensino Médio Inovador |
|
Proficiência língua portuguesa |
284,78 |
282,24 |
|
Proficiência matemática |
295,08 |
286,42 |
|
Branco/Amarelo |
75,67% |
69,16% |
|
Ensino superior mãe |
10,63% |
9,48% |
|
Pelo menos um computador |
59,50% |
43,82% |
|
Wi-fi |
89,27% |
87,83% |
|
Somente escola pública |
69,75% |
50,72% |
|
Incentivo a estudar |
53,39% |
41,24% |
|
Frequentou pré-escola |
21,73% |
13,93% |
|
Localização Urbana |
96,42% |
96,67% |
|
Indicador de Adequação da Formação Docente |
66,23 |
69,21 |
Fonte: Elaboração dos autores
As primeiras variáveis da tabela são as dependentes: proficiência em língua portuguesa e matemática. Enquanto a diferença entre o valor da proficiência em língua portuguesa dos alunos frequentando o Ensino Médio Inovador e o mesmo valor dos alunos frequentando o ensino médio tradicional é de cerca 2 pontos, a mesma diferença na proficiência em matemática é de 9 pontos.
Passando às variáveis que definem as covariadas usadas no pareamento, podemos notar diferenças importantes entre alunos que frequentam o Ensino Médio Inovador e o ensino médio tradicional no caso das variáveis “Branco/Amarelo” (aproximadamente 6 p.p.), “Pelo menos um computador” (aproximadamente 16 p.p.), “Somente escola pública” (aproximadamente 19 p.p.), “Incentivo ao estudar” (aproximadamente 12 p.p.), “Frequentou pré-escola” (aproximadamente 8 p.p.). No caso das outras covariadas, as diferenças das percentagens entre os dois grupos não são significativas.
Antes da apresentação dos resultados do Pareamento por Escore de Propensão, é necessário executar algumas verificações para a aplicação correta e enviesada do método.
Diferentes estratégias podem ser usadas para identificar a condição de sobreposição entre os grupos. A primeira estratégia é a análise visual, na qual um gráfico (Figura 1) apresenta as distribuições de densidade do escore de propensão para os dois grupos, verificando assim a sobreposição das distribuições.
A Figura 1 apresenta no gráfico a esquerda a distribuição de probabilidade de participar do PBF antes do pareamento, enquanto no gráfico a direita, a distribuição após o pareamento. Podemos notar que o pareamento garante uma melhor sobreposição das curvas de densidade do escore de propensão dos grupos de controle e tratamento.
Em outra estratégia, a similaridade estatística das distribuições do p-valor pode ser verificada com o teste de Kolmogorov-Smirnov, o qual é um teste estatístico mais rigoroso, do que a simples análise visual.
A hipótese nula é que há igualdade entre as distribuições dos escores de pareamento dos grupos de controle e tratamento após pareamento. Isso acontece quando a probabilidade de igualdade entre as distribuições é maior que 0,05. Calculando o teste de Kolmogorov-Smirnov, o valor obtido é 0,08, assim não rejeitamos a hipótese de igualdade entre as curvas.
Figura 1 – Distribuição de probabilidade de participar do PBF antes e após o pareamento (regressão logística)
Fonte: Elaboração dos autores
Dada a hipótese de independência condicional, é necessário verificar se o procedimento de pareamento fez um balanceamento das distribuições das variáveis relevantes, entre os grupos de controle e tratamento. A tabela 3, a seguir, apresenta as médias das covariadas nos grupos de controle e tratamento, antes e depois do pareamento, e o teste de igualdade de médias das covariadas (executado com o comando pstest in STATA).
Considerando o teste de igualdade das médias após o pareamento, as médias entre tratados e não tratados não são significativamente diferentes, ao passo que são para algumas covariadas ao comparar tratados e não tratados antes do pareamento. Portanto, a propensão estimada equilibra bem os grupos de tratamento e de controle pareados.
O passo sucessivo da nossa análise é apresentar os resultados relativos à regressão probit que determinou o escore de propensão. A tabela 4, a seguir, apresenta os coeficientes e as significâncias estatísticas das variáveis explicativas; a variável dependente, nesta regressão, é Ensino médio inovador.
Tabela 3 – Igualdade de médias das covariadas nos grupos de controle e tratamento antes/depois do pareamento
|
|
Antes do pareamento |
Após o pareamento |
||
|
|
Tratamento |
Controle |
Tratamento |
Controle |
|
Branco/Amarelo |
77,19*** |
69,65*** |
77,20 |
73,89 |
|
Ensino superior mãe |
10,63 |
9,48 |
14,35 |
17,03 |
|
Pelo menos um computador |
59,50*** |
43,82*** |
78,44 |
75,81 |
|
Wi-fi |
89,27 |
87,83 |
91,35 |
92,61 |
|
Somente escola pública |
69,75*** |
50,72*** |
91,15 |
87,73 |
|
Incentivo a estudar |
53,39*** |
41,24*** |
72,15 |
72,35 |
|
Frequentou pré-escola |
21,73*** |
13,93*** |
28,70 |
25,12 |
|
Localização Urbana |
96,42 |
96,67 |
96,26 |
96,08 |
|
Indicador de Adequação da Formação Docente |
66,23 |
69,21 |
66,12 |
68,63 |
Fonte: Fonte: Elaboração dos autores
Níveis de significância: * 10%; ** 5%; *** 1%
Considerando o teste de igualdade das médias após o pareamento, as médias entre tratados e não tratados não são significativamente diferentes, ao passo que são para algumas covariadas ao comparar tratados e não tratados antes do pareamento. Portanto, a propensão estimada equilibra bem os grupos de tratamento e de controle pareados.
O passo sucessivo da nossa análise é apresentar os resultados relativos à regressão probit que determinou o escore de propensão. A tabela 4, a seguir, apresenta os coeficientes e as significâncias estatísticas das variáveis explicativas; a variável dependente, nesta regressão, é Ensino médio inovador.
Tabela 4 – Resultados da regressão Probit
|
Variável |
Coeficiente |
|
Branco/Amarelo |
0,090 ** |
|
Ensino superior mãe |
- 0,051 |
|
Pelo menos um computador |
0,123 *** |
|
Wi-fi |
-0,124 * |
|
Somente escola pública |
0,178 *** |
|
Incentivo a estudar |
-0,002 |
|
Frequentou pré-escola |
0,102 *** |
|
Localização Urbana |
0,008 |
|
Indicador de Adequação da Formação Docente |
-0,006 *** |
Fonte: Fonte: Elaboração dos autores
Níveis de significância: * 10%; ** 5%; *** 1%
Analisando a Tabela 4, podemos notar que, das nove variáveis utilizadas, seis apresentaram significância estatística. Conforme as variáveis significativas, as escolas têm uma maior probabilidade de implementar o ProEMI quando os alunos têm as seguintes características: é branco/amarelo, têm pelo menos um computador em casa, não têm rede wi-fi em casa, estudaram somente em escola pública, entraram na escola com 3 anos ou menos e quanto menor o Indicador de Adequação da Formação Docente na escola, maior participação no programa.
Enfim, na tabela 5, são apresentados os resultados do pareamento com escore de propensão.
Tabela 5 – Resultados do Pareamento com Escore de Propensão
|
Variável |
Coeficiente |
|
Proficiência língua portuguesa |
3,68 |
|
Proficiência matemática |
11,33*** |
Fonte: Elaboração dos autores.
Níveis de significância: * 10%; ** 5%; *** 1%.
Após a aplicação do Pareamento por Escore de Propensão, foram identificados um efeito positivo, mas não significante estatisticamente, de 3,68 pontos sobre a proficiência em língua portuguesa e um efeito positivo, significante estatisticamente, de 11,33 pontos sobre a proficiência em matemática.
De acordo com esses resultados, o Ensino médio inovador não apresenta efeitos sobre a proficiência em língua portuguesa, enquanto, por outro lado, proporciona um efeito positivo sobre a proficiência em matemática. Ao se apresentar os resultados, temos que deixar claras também as limitações do método utilizado. A principal limitação do Pareamento por Escore de Propensão é que se o status de tratamento é influenciado por características não observáveis, ou seja, quebra do pressuposto de independência condicional, os impactos estimados serão enviesados.
O ProEMI foi instituído visando desenvolver um currículo escolar mais dinâmico e inovador, transformando as escolas em ambientes mais conectados com uma sociedade mais moderna. A implementação do programa era justificada pelo fato que, com a inclusão na grade escolar dos interesses e necessidades locais/regionais, os alunos teriam um maior interesse a frequentar as aulas e, por consequência, haveria um aumento na aprendizagem dos alunos, juntamente com uma menor taxa de reprovação e abandono escolar.
Sendo assim, o objetivo do artigo foi verificar a existência de um impacto do programa ensino médio inovador em Santa Catarina sobre a aprendizagem dos alunos, medida por meio da proficiência em língua portuguesa e matemática do Sistema de Avaliação da Educação Básica (SAEB). Para conseguir esse objetivo, a metodologia utilizada foi o Pareamento por Escore de Propensão, que calcula a probabilidade de uma unidade se inscrever ou participar em um programa, com base nas características observadas, partindo do pressuposto de que, dependendo de algumas características observáveis, as unidades não tratadas podem ser comparadas às unidades tratadas, como se o tratamento tivesse sido totalmente randomizado.
Foram utilizados para tal fim, os dados do SAEB de 2019.
Depois da aplicação do pareamento com escore de propensão, os resultados estimados mostraram que o ProEMI teve um efeito positivo sobre a proficiência em matemática, aumentando os pontos da escala única do SAE em aproximadamente 11,33 pontos, mas praticamente não apresentou melhoras significativas sobre proficiência em língua portuguesa.
Isto é, os resultados estimados pelos modelos mostram que o Programa Ensino Médio Inovador teve o efeito de melhorar a proficiência em matemática dos alunos do terceiro ano do ensino médio das escolas que implementaram o programa em Santa Catarina, mas não a da língua portuguesa.
Desse modo, o programa precisa expandir o esforço para ampliar os conhecimentos na área de língua portuguesa e humanística em geral.
Mesmo não sendo esse um dos objetivos do ProEMI, tal resultado poderia ser facilmente alcançado considerando que alguns dos objetivos do ProEMI, como a ampliação do tempo dos estudantes na escola integral e a interdisciplinaridade, podem incentivar a aprendizagem na área de língua portuguesa.
Da mesma forma, poderiam se aproveitar estas vantagens para aprimorar ainda mais as melhoras nos índices em matemática.
Por último, conforme as variáveis significativas analisadas no presente trabalho, as escolas têm uma maior probabilidade de implementar o ProEMI quando os alunos têm as seguintes características: é branco/amarelo, têm pelo menos um computador em casa, não têm rede wi-fi em casa, estudaram somente em escola pública, entraram na escola com 3 anos ou menos e quanto menor o Indicador de Adequação da Formação Docente na escola, maior participação no programa.
Isto levantaria algumas questões importantes e dignas de uma análise mais aprofundada em futuros artigos, por exemplo, quais medidas poderiam ser implementadas, nas escolas públicas, dado que a grande maioria de alunos é não branco?
Referências
Camargo, E. F. de. As formações no âmbito da parceria Programa Ensino Médio Inovador/Jovem do Futuro - PROEMI/JF. 2015. Dissertação (Mestrado em Gestão e Avaliação da Educação pública) - Universidade Federal de Juiz de Fora, Juiz de Fora, 2015
FIGUEIREDO, K. J. A. A. Programa Ensino Médio Inovador - ProEMI: o que revelam as intenções de melhoria do ensino médio no Brasil: o caso do Distrito Federal. 2015. 243 f. Tese (Doutorado em Educação) - Universidade de Brasília, Brasília, 2015 https://repositorio.unb.br/handle/10482/19675
GOMES, M.M. SAEB: definição, características e perspectivas. Revista Educação Pública, v. 19, nº 6, 2019. Disponível em: https://educacaopublica.cecierj.edu.br/artigos /19/6/saeb-definicao-caracteristicas-e-perspectivas.. Acesso em: 10 ago 2021.
MINISTÉRIO da Educação. Programa Dinheiro Direto na Escola – PDDE. Ministério da Educação. Brasília, DF, 2018. Disponível em: http://portal.mec.gov.br/financiamento-estadual/dinheiro-direto-na-escola. Acesso em: 03 ago 2021.
MINISTÉRIO da Educação. Programa Ensino Médio Inovador: documento orientador. Brasília, DF, 2018. Disponível em: http://portal.mec.gov.br/dmdocuments/ documento_orientador.pdf. Acesso em: 11 ago 2021.
NOGUEIRA, S. C. C.; SILVA, P. R. F. da; GADELHA, T. G. A não inovação do programa Ensino Médio inovador. Rev. Diálogo Educ. Curitiba , v. 18, n. 59, p. 1272-1290, out. 2018. Disponível em: http://educa.fcc.org.br/scielo.php?script=sci_artt ext&pid=S198 1-416X2018000401272&lng=pt&nrm=iso. Acesso em: 21 jan. 2022.
PINTO, E. de V. (2016) A implementação do Programa Ensino Médio Inovador em uma escola estadual de Manaus: análise sobre o papel do professor articulador de projetos. 2016. Dissertação (Mestrado em Educação) - Universidade Federal de Juiz de Fora, Juiz de Fora
RIBEIRO DA SILVA, M. . O programa ensino médio inovador como política de Indução a mudanças curriculares: da proposta Enunciada a experiências relatadas. Educação em Revista, vol. 32, n. 2, pp. 91-110, 2016. Disponível em: https://www.redalyc.org/ journal/3993/399361529006/html/
ROSENBAUM, P. R.; RUBIN, D. B. The Central Role of the Propensity Score in Observational Studies for Causal Effects. Biometrika. v.70, n.1, p. 41–55, 1983. DOI:10.1093/biomet/70.1.41
Contribuição de autoria
1 – Marcos Ezequiel Abregú
Graduado em Ciências econômicas pela Universidade Federal de Santa Catarina
https://orcid.org/0009-0006-7902-3951 • marcos.abregu@yahoo.com.br
Contribuição: Escrita e primeira redação
2 – Michele Romanello
Doutora em desenvolvimento econômico pela Universidade Federal do Paraná
https://orcid.org/0000-0001-6295-8749 • romanello.michele@gmail.com
Contribuição: Escrita e primeira redação
Como citar este artigo
ABREGÚ, M. E; ROMANELLO, M. O impacto do Programa Ensino Médio Inovador sobre as proficiências do Sistema de Avaliação da Educação Básica (SAEB) em Santa Catarina. Econ. e Desenv., Santa Maria, v.35, e75433, 2023. DOI 10.5902/1414650975433. Disponível em: https://doi.org/ 10.5902/1414650975433. Acesso em: XX/XX/XXXX.