Avaliação Sistêmica

03/01/2012 18:40

Avaliação Sistêmica

* Ângela Imaculada Loureiro de Freitas Dalben

A Avaliação Sistêmica é uma modalidade de avaliação, em larga escala, desenvolvida no âmbito de sistemas de ensino visando, especialmente, a subsidiar políticas públicas na área educacional. Constitui-se em um mecanismo privilegiado capaz de fornecer informações, sobre processos e resultados dos sistemas de ensino, às instâncias encarregadas de formular e tornar decisões políticas na área da educação. É uma estratégia que pode influenciar as qualidades das experiências educativas e a eficiência dos sistemas, evitando o investimento público de maneira intuitiva, desarticulada ou insuficiente para atender às necessidades educacionais.

Os programas de avaliação sistêmica, segundo a organização do ensino brasileiro, podem ter abrangência federal, estadual ou municipal. O Sistema Federal compreende as instituições mantidas pela União e os órgãos federais de educação; o Sistema Estadual, incluindo o Distrito Federal, compreende as instituições de ensino mantidas pelos poderes públicos estaduais, as instituições de ensino fundamental e médio mantidas pela iniciativa privada e os órgãos de educação estadual e do Distrito Federal; e os Sistemas Municipais de Educação compreendem as instituições de Ensino Fundamental, Médio e de educação infantil criadas e mantidas pelo poder público municipal, assim como os órgãos municipais de educação e as instituições mantidas pela iniciativa privada (os âmbitos de competência e atribuição desses sistemas foram estabelecidos nos artigos 9º, 10º, 11º e 18º da Lei de Diretrizes e Bases da Educação Nacional – LDB 9394, de 20 de dezembro de 1996).

A visibilidade e a responsabilidade social são os princípios que justificam, fundamentalmente, os investimentos em programas de avaliação sistêmica. O primeiro refere-se a um princípio ético que reconhece a educação como um direito e a escola como um bem público. Assim, os gestores do público devem, portanto, apresentar à sociedade os resultados e produtos de seus investimentos. O segundo princípio identifica as parcelas de contribuição dos diferentes segmentos envolvidos na obtenção desses resultados, induzindo ao comprometimento com a implementação de ações corretivas quando necessárias.

O desenvolvimento de um sistema nacional de avaliação no Brasil é bastante recente e ainda pouco estudado. A instituição de programas dessa natureza começou a ser discutida em meados da década de 80, época em que se debatia o processo de democratização do país. Neste contexto, as principais questões focalizadas eram o acesso à escola e a qualidade do ensino oferecida pelos diferentes sistemas, tanto na esfera pública quanto na privada. Reconhecia-se, naquele momento, um grande esforço das políticas anteriores na ampliação das oportunidades de escolarização, mas questionava-se as desigualdades de oferta e os resultados que vinham sendo gerados. Alertava-se sobre o fato de não existirem informações precisas sobre os comportamentos dos sistemas de ensino e sobre os resultados dos investimentos públicos em educação.

A partir desses debates, o Ministério da Educação e Cultura (MEC) por meio do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP), foi incentivado a desenvolver processos de avaliação sistêmica no âmbito federal, na perspectiva de oferecer diretrizes para as políticas de educação no país. Da mesma forma, alguns estados brasileiros o seguiram, implementando programas de âmbito estadual. Estes programas assinalaram a necessidade urgente de construção de uma nova cultura de avaliação nos meios educacionais, de modo que os processos deixassem de ser encarados como meios de classificação de alunos e de escolas e passassem a atuar como diagnóstico das situações de aprendizagem e otimização das possibilidades de melhoria da qualidade de ensino.

No âmbito federal, três políticas de avaliação sistêmica implantadas nos últimos tempos devem ser salientadas: O Sistema Nacional de Avaliação da Educação Básica (SAEB), o Exame Nacional do Ensino Médio (ENEM) e o Exame Nacional de Cursos (ENC). Dentre essas três políticas, o SAEB é o único que tem por objeto o próprio sistema de ensino, porque embora os outros programas tenham e abrangência do sistema nos processos de avaliação, o objeto de avaliação do ENEM, é o aluno egresso do Ensino Médio e o objeto do ENC é a instituição de Ensino Superior.

Em 1988, foi criado o Sistema de Avaliação das Escolas Públicas de 1º grau (SAEP), precursor do Sistema Nacional de Avaliação da Educação Básica (SAEB), criado em 1992. O objeto geral do SAEB é monitorar a qualidade do ensino, verificar a eqüidade e a eficiência dos sistemas de educação básica. Para isso, se propõe a desenvolver indicadores de qualidade, de eqüidade e de eficiência do sistema de ensino básico brasileiro; identificar problemas, diferenças em termos regionais e fatores que influenciam o desempenho dos alunos nas diversas séries e disciplinas; oferecer informações técnicas e gerenciais aos administradores da educação pública, para que possam formular e avaliar programas de melhoria da qualidade do ensino; proporcionar à sociedade uma visão clara e concreta dos resultados dos processos de ensino e das condições em que são desenvolvidos; consolidar competências técnicas e científicas na área da avaliação educacional, ativando o intercâmbio entre instituições de ensino e pesquisa; comparar o desempenho dos alunos e do sistema educacional brasileiro com o de outros países. Os resultados do exame indicam as habilidades e competências adquiridas pelos alunos nas séries e/ou ciclos escolares ou cursos. Para esta análise são elaboradas matrizes de referência definidas a partir de parâmetros curriculares nacionais. Essas matrizes orientam a elaboração do instrumento de medida a ser utilizado e devem orientar as interpretações dos resultados.

O ENEM foi instituído em maio de 1998, destinado aos alunos egressos do Ensino Médio. O modelo de avaliação adotado se estrutura a partir da articulação entre competências e habilidades e entre o conceito de educação básica e de cidadania. Segundo os seus idealizadores, o conhecimento se constrói a partir das interações realizadas pelo cidadão com a vida. Portanto, os conceitos, as idéias, as leis, as teorias, os fatos, as pessoas, a história, o espaço geográfico, a ética e os valores (conteúdos tradicionais das ciências, das artes e da filosofia) são produzidos nestas interações. A capacidade de leitura da realidade não é, assim, uma questão disciplinar, como geralmente é tratada na escola. O exame busca verificar a capacidade do participante de utilizar o conhecimento construído durante o seu percurso da escolarização em situações-problema. Essas situações são apresentadas em forma de questões elaboradas a partir de uma matriz que articula 5 competências expressas a partir de 21 habilidades. O participante deve demonstrar possuir instrumental de leitura e resposta às questões do mundo que o cerca. (Relatório Final 2000, p. 11)

O ENC faz parte do programa de avaliação das instituições de Ensino Superior e tem sido chamado de Provão. Foi criado em 1995 e tem por objetivo alimentar os processos de decisão e de formulação de ações voltadas para a melhoria dos cursos de graduação nas instituições de Ensino Superior. Ele é realizado anualmente para os alunos em condições acadêmicas de conclusão de curso. Comissões específicas para cada curso definem os conteúdos e habilidades a serem avaliados e as especificações necessárias à elaboração dos instrumentos de avaliação a serem aplicados no exame. Paralelamente ao ENC, existe a avaliação das condições de oferta e de ensino dos respectivos cursos. São feitas visitas in loco, orientadas por um manual que contém indicadores e padrões de qualidade a serem examinados. O MEC convoca comissões para a realização dessas visitas e relatórios são elaborados consolidando as observações e análises desenvolvidas sobre a instituição em questão.

Os processos de avaliação sistêmica não têm um fim em si mesmos. A sua finalidade maior é a de oferecer informações e indicadores da realidade como suporte para processos de interpretação e comparação entre referenciais construídos idealmente como padrões de qualidade necessárias. Neste sentido, torna-se fundamental que os resultados dessas avaliações sejam apropriados de maneira conveniente. Um amplo processo de divulgação e esclarecimento, dirigido à sociedade, sobre o seu planejamento, objetivos e metodologias deve ocorrer como uma estratégia cuidadosa para não expor os resultados aos riscos de uma interpretação inadequada. O modelo de avaliação a ser desenvolvido deve, também, garantir a sua legitimidade, apresentando claramente os objetivos propostos para o programa, assim como as bases metodológicas sob as quais se delineará. Os procedimentos de análise dos dados devem se apoiar em critérios defensáveis para a sua confiabilidade, e a sistematização dos dados deve permitir que a comunidade interessada compreenda o desempenho das variáveis analisadas e possa interpretar os resultados alcançados.

Uma avaliação sistêmica deve prever a continuidade do programa por ciclos de aplicação em anos subseqüentes. Essa característica permite o aperfeiçoamento e o acompanhamento de sua evolução em séries históricas, além da análise dos impactos sofridos a partir das medidas corretivas ou inovadoras que promover. Impactos variados podem ocorrer, entendidos como modificações de mentalidade no público interessado, formas de ver e pensar o sistema em questão, mudanças nas atitudes das pessoas, criação de grupos de estudo sobre avaliação e sobre os temas nevrálgicos situados no processo de avaliação, alterações nos currículos das escolas, alterações no uso das informações como justificativas para a implementação de projetos pedagógicos inovadores.

Os processos de avaliação sistêmica desenvolvidos pelo governo federal têm sido fundamentais para oferecer referenciais aos diferentes programas que vêm sendo criados. Eles têm permitido que a sociedade obtenha parâmetros de análise e comparação entre sistemas de diferentes regiões, dando suporte à discussão sobre as políticas implementadas e as necessidades de novas políticas evidenciadas. Todo esse esforço só tem sentido se a sociedade como um todo, e os educadores em particular, se debruçarem sobre os dados produzidos para entender, interpretar e verificar sua pertinência em relação ao contexto educacional do qual participam.

Os relatórios fornecidos partem de parâmetros de referência que devem se utilizados pela comunidade docente para desenvolverem análises próprias em relação à sua própria realidade. Os resultados obtidos pelos alunos, com certeza, podem fornecer subsídios para discussões pedagógicas ricas e desafiadoras. Esses debates podem levantar aspectos importantes a serem considerados na elaboração dos projetos pedagógicos das escolas e, assim, apoiar diretamente os processos educativos de sala de aula. Acredita-se que será pelo esforço coletivo dos professores, na perspectiva de construírem significados e ações pedagógicas frente ao conjunto de informações fornecidas pelos processos de avaliação sistêmica, que o próprio processo encontrará o seu sentido maior.

Quem discute o tema Avaliação Sistêmica?

A década de noventa revitalizou o debate sobre a avaliação sistêmica com a implementação da política do governo federal de avaliar a educação brasileira em diferentes âmbitos e, assim inúmeros grupos de pesquisa em avaliação foram convocados a desenvolverem estudos sobre os processos de avaliação que estavam ocorrendo. A CESGRANRIO e a Fundação Carlos Chagas são dois grupos que tradicionalmente têm investido em avaliação sistêmica no Brasil. Nos últimos anos, com o apoio da Fundação Ford, novos grupos foram criados e consolidados, vinculados às universidades públicas brasileiras como a UFMG, UNICAMP, UFJF, UEL, UFCE, UNB. Relatórios de pesquisa desses grupos merecem destaque quando se debate o tema avaliação sistêmica.

Também alguns estados brasileiros se empenharam na busca pela avaliação de seus sistemas de ensino, e propostas foram elaboradas como alternativas àquela apresentada pelo governo federal, como foi o caso de Minas Gerais, que já está experimentando o seu segundo modelo de avaliação, com o atual SIMAVE (antes da criação do SIMAVE e o estado de Minas Gerais investiu no "Programa de Avaliação do Sistema Estadual de Ensino de Minas Gerais", sob a orientação do professor consultor Heraldo Marelin Vianna); o caso de São Paulo, do Ceará e outros.

Torna-se necessário salientar alguns trabalhos já publicados, apresentados a seguir, que auxiliam o debate e o avanço na discussão do tema e, ainda, indicar o site do INEP/MEC http://www.inep.gov.br como referência fundamental para o conhecimento dos processos de avaliação do sistema educacional brasileiro, com informações em primeira mão.

O texto de CASTRO salienta, inicialmente, a relevância da avaliação sistêmica como um mecanismo de acompanhamento das reformas educacionais e situa dois âmbitos: a avaliação das instituições e a avaliação dos resultados.

Comenta sobre a importância da definição de indicadores educacionais de qualidade para os diferentes níveis do sistema de ensino, argumentando sobre a representação desses indicadores no desenvolvimento das políticas e das metas a serem atingidas. Segundo a autora, há dez anos a preocupação maior localiza-se no diagnóstico e na caracterização dos sistemas. Nesse contexto, os indicadores de acesso eram as grandes preocupações. Essa etapa foi vencida nesta última década, caracterizada por uma crescente preocupação com a definição de indicadores que informam a eficiência dos sistemas de ensino. As questões centrais passaram a ser:
. Quais as características do percurso escolar dos alunos? Quanto tempo levam em média para concluir a escolaridade obrigatória? Quais os fatores que explicam as altas taxas de repetências e de abandono escolar? Como se comporta o fluxo do sistema?
. O que os alunos são capazes de fazer? Quais os padrões desejáveis que deveriam ser atingidos para que os alunos desenvolvam as competências e habilidades básicas exigidas para o exercício da cidadania? O que caracteriza a escola efetiva?
. Como anda o desempenho dos sistemas de ensino? Quais as lições extraídas dos resultados das avaliações que permitam reorientar ações e políticas dirigidas à promoção da eqüidade e da contínua melhoria da qualidade dos diferentes níveis de ensino?

Para CASTRO, esse novo foco de preocupações revela a tendência no campo educacional de caminhar para a construção de um novo papel a ser assumido pelos sistemas de ensino: Como preparar o novo cidadão? Quais as demandas da nova sociedade, que vive processos de mudanças tão acelerados como as que marcaram as últimas décadas?

O texto apresenta os principais resultados obtidos nos censos educacionais, o comportamento dos indicadores de fluxo e eficiência do sistema de ensino brasileiro, a avaliação de desempenho dos alunos e as tendências verificadas pela análise dos resultados obtidos. Oferece, também, um balanço sobre a situação do analfabetismo nas regiões do país, com ênfase nas faixas etárias, sobre a situação do Ensino Fundamental, assinalando os principiais problemas de fluxo e eficiência e apresenta, ainda, os principais resultados da avaliação da educação básica, com análises e comentários a respeito das tendências e perspectivas educacionais a médio prazo.

O texto conclui considerando os avanços dos anos noventa na estrutura do sistema educacional brasileiro, salientando a quase universalização do sistema no nível fundamental e a progressiva democratização do Ensino Médio. Em conseqüência desses avanços, um novo desafio a ser enfrentado se apresenta no cenário educacional: a questão da permanência e do sucesso das crianças e jovens, além da qualidade de ensino oferecida.

A autora termina citando a questão da necessidade de expansão do ensino superior e da flexibilização necessária para o atendimento às novas demandas próprias da dinâmica dos novos tempos. Para CASTRO, a superação dos desafios atuais dependerá da capacidade de articulação dos três níveis de ensino e de governo, da ampliação de parcerias com o setor produtivo e da mobilização dos segmentos sociais, assumindo a educação como uma prioridade a agenda nacional.

Já o texto de PESTANA discute o Sistema de Avaliação da Educação Básica (SAEB), situando suas raízes históricas, suas características básicas e os indicadores em que se apóia, apresentando ao final algumas questões que a experiência vem suscitando.

Para a autora, o SAEB nasceu da necessidade de articulação, de construção de consenso e de tomada de decisões coletivas sobre os rumos da educação nacional. As características gerais do sistema de avaliação, no que se refere à sua estrutura, objetivos e concepção, vêm se mantendo inalteradas desde a sua criação em 1988, havendo apenas modificações de cunho metodológico e operacional.

O sistema procura avaliar o desempenho do aluno em termos de aprendizagem de conteúdos e aquisição de habilidades e competências. Para isso, parte do pressuposto de que a educação não acontece num vazio e que existe um valor agregado aos indivíduos pela educação e pela escola. Parte, então, do princípio de que o desempenho do aluno sofre múltiplos condicionamentos, os quais devem ser considerados pela avaliação. Assim, o SAEB considera, no processo de avaliação do desempenho do aluno: a determinação de contextos em que ocorrem o ensino e a aprendizagem; a identificação de processos de ensino e aprendizagem e o dimensionamento dos insumos utilizados. Para tal, o sistema elabora instrumentos específicos como, por exemplo:
. A dimensão produto é considerada a partir da aplicação de provas que medem o nível de competência e/ou habilidades que os alunos demonstram;
. A dimensão contexto, processo e insumos são examinadas por meio de aplicação de questionários aos professores e diretores, na perspectiva de obter dados sobre a prática docente, o perfil profissional e as condições de trabalho; aos alunos, sobre o nível socioeconômico e hábitos de estudo; e um levantamento das condições escolares em relação às instalações, equipamentos e materiais disponíveis.

O SAEB abrange 27 estados, com a participação de duas mil escolas de todas as redes de ensino (federal, estadual e municipal). Em 1998, por exemplo, foi utilizada uma amostra de aproximadamente 220 mil alunos, 3 mil diretores e 20 mil professores. Começou avaliando as 1ª, 3ª, 5ª e 7ª séries do Ensino Fundamental com base em conteúdos mínimos comuns. Para isso foi realizado um levantamento dos currículos estaduais, procurando-se identificar os aspectos comuns existentes entre eles.

Em uma avaliação do próprio SAEB, realizada em 1995, algumas modificações foram implementadas na perspectiva metodológica do sistema de avaliação. Passou-se, então, a avaliar as séries finais dos ciclos do Ensino Fundamental e Médio, isto é, 4ª e 8ª séries e 3ª série do Ensino Médio e alterou-se a configuração da elaboração dos instrumentos. Antes utilizava-se a forma clássica, com a elaboração de provas de conteúdos com 30 questões, que não podiam ser comparadas no tempo e nas séries. Com base na Teoria da Resposta ao item (TRI) foi possível utilizar técnicas capazes de permitir processos de interpretação a partir de escalas de proficiência, favorecendo os processos de comparação.

O SAEB utiliza, também, uma matriz curricular de referência para a elaboração das questões das provas, contendo uma série de descritores do desempenho do aluno. Ela se organiza em tópicos, temas e assuntos (conteúdos) e operações mentais (competências e habilidades) distribuídos em três ciclos (até a 4ª série; até a 8ª série do Ensino Fundamental; e até a 3ª série do Ensino Médio) e três categorias (competências básicas, operacionais e globais).

O sistema disponibiliza os resultados das avaliações amplamente. Apresenta as médias de proficiência dos alunos, que podem ser desagregadas por região, por estado, rede de ensino, localização, características dos alunos, professores, diretores e escolas. Apresenta também os resultados de aproveitamento médio do aluno em relação aos descritores de desempenho que constam das matrizes de referência da avaliação, oferecendo uma base de dados detalhada sobre o currículo escolar.

Segundo PESTANA,

(...) O SAEB tem se revelado um instrumento para a superação de uma das falhas mais flagrantes do sistema educacional hoje, qual seja: as escolas não têm clareza sobre onde devem chegar e, muitas delas, nem sabem de que bases partem. (p.72)

VIANNA aborda o tema de avaliação de sistema analisando a relação dos programas dessa natureza na implementação de políticas públicas. Para isso, discute o Programa de Avaliação da Escola Pública de Minas Gerais (Resolução n. 6 908, de janeiro de 1992), do qual participou como assessor e idealizador na elaboração do modelo utilizado.

A implantação do programa resultou de uma imposição legal em vista da baixa produtividade e dos altos índices de retenção nas primeiras séries do Ensino Fundamental. Os dados disponíveis sobre o comportamento do sistema como um todo evidenciavam uma situação bastante complexa, com características de centralização e pouco poder das escolas. Foram definidas, a partir de então, algumas prioridades para o desenvolvimento do sistema de avaliação que apresentou, inicialmente os seguintes objetivos:
. promover a avaliação sistemática dos resultados aferidos com relação à aprendizagem dos alunos em conteúdos básicos e comuns;
. introduzir e estimular a prática da auto-avaliação da escola com vistas à promoção de mudanças e à melhorias da qualidade do ensino;
. criar mecanismos para a condução do ensino público no estado, bem como instrumentos de prestação de contas pelos serviços prestados e resultados alcançados. (p. 122)

Segundo o autor, a avaliação definida referia-se à aprendizagem, mas procurava estimular a auto-avaliação institucional e visava, antes de tudo, a prestar contas das ações do sistema para a sociedade. A implementação de um programa de avaliação, decorrência de uma decisão política governamental, é um trabalho árduo, porque exige a participação de pessoas interessadas e competentes, capazes de um envolvimento total com o programa. No caso de Minas Gerais, a criação, desenvolvimento e implementação do sistema contou com a participação ativa de professores da própria rede, envolvidos e capacitados ao longo do processo. Isso permitiu o desenvolvimento de uma perspectiva formativa na estruturação do modelo de avaliação delineado. Ainda nesta linha, o modelo definiu que a prática de sala de aula, sob orientação dos professores, constitui importante conjunto de informações para a escola na tomada de decisões. Assim, um dos primeiros procedimentos da equipe responsável pela elaboração do programa de avaliação foi desenvolver um levantamento amostral dos diferentes tipos de instrumentos usados nas escolas para uma análise e discussão do seu conteúdo, ficando decidida a participação dos professores na definição de objetivos, habilidades e na construção dos instrumentos, principalmente das provas e testes.

Os principais aspectos considerados no processo de avaliação foram: variáveis relacionadas ao contexto estadual, com o estudo das características demográficas da população, da organização da escola, do tipo de administração e do sistema de avaliação da escola; fatores ligados à família, como o nível de educação do pais, recursos educacionais no lar, interesse e participação dos pais no processo educacional, nas atividades da escola e fora da escola, atividades de lazer sociais; fatores relacionados ao currículo, como uso de materiais didáticos, trabalhos fora da sala de aula e da escola, natureza da avaliação efetivamente desenvolvida pelos professores.

Segundo o autor, uma avaliação sistêmica se avalia a partir dos impactos que ela provoca. No caso do sistema de avaliação desenvolvido em Minas Gerais, observou-se que os professores passaram a usar os elementos informativos das avaliações em suas atividades de classe transformando numa prática no âmbito escolar, deixando de ser um momento episódico na vida da comunidade escolar. (p. 132)

* Doutora em Educação pela FAE/UFMG.

 

PARA SABER MAIS...

BRASIL, Ministério da Educação (MEC). Relatório Final 2000 do Exame Nacional do Ensino Médio – ENEM. Brasília: MEC, Dezembro de 2000.

CASTRO, Maria Helen Guimarães de. Avaliação do sistema educacional brasileiro: tendências e perspectivas. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais, 1998. 61p.
O texto salienta, inicialmente, a relevância da avaliação sistêmica como um mecanismo de acompanhamento das reformas educacionais e situa dois âmbitos: a avaliação das instituições e a avaliação dos resultados.

PESTANA, Maria Inês. O sistema de avaliação brasileiro. Revista Brasileira de Estudos Pedagógicos, Brasília, v. 79, n. 191, p. 65-73, jan./abr. 1998.
O texto discute o Sistema de Avaliação da Educação Básica (SAEB), situando suas raízes históricas, suas características básicas e os indicadores em que se apóia, apresentando ao final algumas questões que a experiência vem suscitando.

VIANNA, Heraldo Marelim. Avaliação de Sistemas: implementação de políticas públicas. Estudos em avaliação educacional, São Paulo, n. 22, jul/dez. 2000.
O texto aborda o tema da avaliação de sistemas analisando a relação dos programas dessa natureza na implementação de políticas públicas. Para isso discute o Programa de Avaliação da Escola Pública de Minas Gerais (Resolução n. 6 908, janeiro de1992), no qual participou como assessor e idealizador na elaboração do modelo utilizado.