INTRODUÇÃO
O Sistema Nacional de Avaliação da Educação Superior (Sinaes), instituído por meio da Lei nº 10.861, de 14 de abril de 2004 (13 anos), foi um ganho para educação no Brasil. Antes, o que havia eram algumas experiências isoladas de avaliação em vez de um sistema nacional aplicado pelo Ministério da Educação (MEC) de forma universal, que abrangesse todas as instituições públicas, privadas e comunitárias, que integram o Sistema Federal de Ensino Superior.
Neste contexto, o EXAME NACIONAL DE DESEMPENHO DO ESTUDANTE – ENADE – E OS ATUAIS INDICADORES DE QUALIDADE foram inaugurados (implantados) na Educação Superior com a publicação da Lei do Sinaes, que se caracteriza como uma Política Pública de Estado de cobertura nacional e obrigatória que objetiva a partir dos resultados: Melhorar a qualidade da Educação Superior e orientar a expansão da oferta; Identificar mérito e valor das Instituições, áreas, cursos e programas nas dimensões de ensino, pesquisa, extensão, gestão e formação; Promover a responsabilidade social das Instituições de Educação Superior (IES), respeitando a identidade institucional e a autonomia.
Nesses treze anos, de 2004 a 2017, já foram realizados cinco ciclos avaliativos (2004 a 2006; 2007 a 2009; 2010 a 2012; 2013 a 2015 e 2016 a 2018) pelo INEP/MEC, com a contribuição efetiva das Instituições de Educação Superior (IES), das Entidades Educacionais e dos Professores, que, de forma direta ou indireta, participam da operacionalização das modalidades avaliativas.
Esta trajetória do Sinaes, que nunca foi interrompida, é marcada pela competência, esforço e cooperação dos participantes, que representam as Instituições e Entidades envolvidas sob a coordenação do INEP/MEC, visando aperfeiçoar a construção dos elementos constitutivos que integram as seguintes modalidades avaliativas: (i) Avaliação institucional interna e externa, (ii) Avaliação dos cursos e (iii) Avaliação dos alunos através do Enade.
Após a implantação e implementação dessas modalidades avaliativas do Sinaes, no período de 2004 a 2007, houve o ingresso na fase de consolidação da avaliação como ferramenta de gestão e como paradigma da expansão da Educação Superior. Neste sentido, foram criados indicadores, visando a impulsionar a qualidade nas IES nos cursos de graduação e, consequentemente, em todo Sistema Federal de Ensino Superior.
A partir de 2007, por meio da Portaria Normativa nº 40, de 12 de dezembro de 2007, da Portaria Normativa nº 04, de 5 de agosto de 2008, que regulamentou a aplicação do Conceito Preliminar de Cursos Superiores (CPC) e da Portaria Normativa nº 12, de 5 de setembro de 2008, que instituiu o Índice Geral de Cursos da Instituição de Educação Superior (IGC), o Enade assumiu papel preponderante na ressignificação da educação superior, em detrimento das demais modalidades avaliativas do Sinaes, por ter sido escolhido pelo MEC como a base da construção dos indicadores de qualidade – conceito Enade; Indicador de Diferença entre o Desempenhos Esperado e Observado (IDD); Conceito Preliminar de Curso (CPC) e Índice Geral de Cursos Avaliados da Instituição (IGC).
Vale lembrar que o Enade, segundo o Art. 5o da Lei nº 10.861, de 14 de abril de 2004, que instituiu o Sistema Nacional de Avaliação da Educação Superior – Sinaes, tem como finalidade avaliar o desempenho dos estudantes matriculados nos cursos de graduação e o questionário respondido pelos estudantes visa levantar o perfil dos estudantes, relevante para a compreensão de seus resultados. A conferir:
Art. 5o A avaliação do desempenho dos estudantes dos cursos de graduação será realizada mediante aplicação do Exame Nacional de Desempenho dos Estudantes – ENADE.
1) O ENADE aferirá o desempenho dos estudantes em relação aos conteúdos programáticos previstos nas diretrizes curriculares do respectivo curso de graduação, suas habilidades para ajustamento às exigências decorrentes da evolução do conhecimento e suas competências para compreender temas exteriores ao âmbito específico de sua profissão, ligados à realidade brasileira e mundial e a outras áreas do conhecimento.
2) O ENADE será aplicado periodicamente, admitida a utilização de procedimentos amostrais, aos alunos de todos os cursos de graduação, ao final do primeiro e do último ano de curso.
3) A periodicidade máxima de aplicação do ENADE aos estudantes de cada curso de graduação será trienal.
4) A aplicação do ENADE será acompanhada de instrumento destinado a levantar o perfil dos estudantes, relevante para a compreensão de seus resultados.
5) O ENADE é componente curricular obrigatório dos cursos de graduação, sendo inscrita no histórico escolar do estudante somente a sua situação regular com relação a essa obrigação, atestada pela sua efetiva participação ou, quando for o caso, dispensa oficial pelo Ministério da Educação, na forma estabelecida em regulamento.
O setor privado que, segundo o Censo da Educação Superior do INEP de 2015, responde por 72,51% das matrículas nos cursos de graduação na modalidade presencial e 90,79% das matrículas nos cursos de graduação na modalidade a distância, totalizando 6.075.152 matrículas, foi alvo da aplicação do Enade, do CPC e do IGC como protagonistas na regulação e na supervisão da educação superior, definindo, inclusive, o destino das IES e dos cursos de graduação a despeito do Plano de Desenvolvimento Institucional – PDI – aprovado pela comunidade acadêmica e pelo Conselho Superior da IES.
Esta realidade, que ocorreu de 2008 a 2016, colocou o Conceito Institucional (CI) e o Conceito de Curso (CC), resultados das avaliações externas das IES e dos cursos de graduação realizadas pelo INEP, em segundo plano. Foi o predomínio do Enade em detrimento das demais modalidades avaliativas, inclusive, a autoavaliação institucional, que é realizada pela Comissão Permanente de Avaliação – CPA.
A partir de 2016, teve início uma mudança paradigmática na condução do Sinaes pelo MEC (SERES, SESu e INEP) e pelo CNE, buscando ressignificar o Conceito Institucional (CI) e o Conceito de Curso (CC) como conceitos determinantes para fins de regulação a partir do entendimento que os indicadores têm os seguintes limites: Indicadores não retratam as condições concretas dos processos formativos e estruturas das IES, portanto, não substituem a avaliação in loco; Expressam valores relativos e não absolutos; Não são comparáveis entre suas edições; Implementação de ajustes em indicadores enquanto utilizados para fins de regulação, supervisão e financiamento.
Nesta nova fase da educação superior, vislumbra-se um tratamento igualitário e equânime, destinado pelo MEC e pelo CNE, às modalidades avaliativas (Enade, Avaliação Institucional e Avaliação de Cursos) que compõem o Sinaes.
AVALIAÇÃO E QUALIDADE NA EDUCAÇÃO SUPERIOR
Tratar do tema ENADE E INDICADORES é fundamental refletir sobre AVALIAÇÃO E QUALIDADE NA EDUCAÇÃO SUPERIOR, considerando a realidade social, econômica e política brasileira; a necessidade urgente de crescimento e desenvolvimento e de melhoria das condições de vida nas cinco regiões brasileiras; os baixos índices educacionais; os compromissos educacionais nacionais e internacionais assumidos pelo Brasil, principalmente, pelo Plano Nacional de Educação (PNE) definido pela Lei nº 13.005, de 25 de junho de 2014, e as demandas do Século XXI, que preconizam a universalização da educação de qualidade com a garantia da incorporação das inovações científicas e tecnológicas sem barreiras de classe, gênero e etnia.
Neste debate é importante destacar o Plano Nacional de Educação que conta com 20 metas, que contemplam todas as etapas e níveis da educação brasileira. As metas estruturantes estão distribuídas em quatro grupos, a saber: 1) Metas para a garantia do direito à educação básica com qualidade, que dizem respeito ao acesso, à universalização da alfabetização e à ampliação da escolaridade e das oportunidades educacionais; 2) Metas que tratam, especificamente, da redução das desigualdades e da valorização da diversidade, caminhos imprescindíveis para a equidade; 3) Metas que tratam da valorização dos profissionais da educação, consideradas estratégicas para que as metas anteriores sejam atingidas; 4) Metas referentes ao ensino superior, que, em geral, são de responsabilidade dos governos estaduais e federal.
Por sua vez, este grupo compreende as seguintes metas: a) Meta 12: elevar a taxa bruta de matrículas na educação superior para 50% e a taxa líquida para 33% da população de 18 a 24 anos, assegurada a qualidade da oferta e expansão para, pelo menos, 40% das novas matrículas no segmento público; b) Meta 13: elevar a qualidade da educação superior e ampliar a proporção de mestres e doutores do corpo docente em efetivo exercício, no conjunto do sistema de educação superior, para 75%, sendo, desse total, no mínimo, 35% doutores; c) Meta 14: elevar gradualmente o número de matrículas na pós-graduação stricto sensu, de modo que se atinja a titulação anual de 60.000 mestres e 25.000 doutores.
Neste cenário, é evidente que avaliar é fundamental para induzir a qualidade. Entretanto, é preciso assegurar, nos processos e procedimentos avaliativos, os princípios e as diretrizes do Sinaes, que trazem a essência da qualidade. Tais como: responsabilidade social; reconhecimento da diversidade do Sistema de Educação Superior; respeito à identidade, à missão e à história das instituições; globalidade; continuidade; compromisso formativo; publicidade e participação.
Afirmo que o compromisso dos gestores com o conjunto de princípios e diretrizes do Sinaes é essencial na definição e operacionalização das políticas públicas no âmbito da regulação e da avaliação na educação superior.
Deste conjunto, destaco a importância da diversidade e da identidade que atendidas pelo Poder Público evitam a trágica padronização, que é antagônica com a concepção de qualidade no Século XXI, que tem como base a tríade criatividade, inovação e diversidade.
Assim, a avaliação não deve privilegiar o controle nem a fiscalização. Pelo contrário, deve se aproximar da tendência mundial de avaliação, que valoriza a autonomia e a liberdade acadêmica e administrativa das IES e dos cursos superiores, incentivando a criatividade e a inovação.
Estas reflexões estão fundamentas em posições como a da Unesco, que considera qualidade e diversidade os eixos das políticas educativas.
No documento “Declaração Mundial sobre Educação Superior no Século XXI: visão e ação”, resultante da Conferência Mundial sobre Ensino Superior (1998), qualidade em educação superior é um conceito multidimensional que deve envolver todas as funções e atividades: ensino, programas acadêmicos, pesquisa e fomento da ciência, ambiente acadêmico em geral. Uma autoavaliação interna e transparente e uma revisão externa com especialistas independentes, se possível com reconhecimento internacional, são vitais para assegurar a qualidade. Devem ser criadas instâncias nacionais independentes e definidas normas comparativas de qualidade, reconhecidas no plano internacional. Visando a levar em conta a diversidade e evitar a uniformidade, deve-se dar atenção aos contextos institucionais, nacionais e regionais específicos. Os protagonistas devem fazer parte integrante do processo de avaliação institucional. (Delors et al., 2006, p. 47, Art. 11, Alínea a).
Para a Unesco, a educação é o principal agente da transição para o desenvolvimento sustentável, incrementando a capacidade das pessoas tornarem realidade suas concepções de sociedade. A educação não se limita a desenvolver capacidades científicas e técnicas; também fortalece a motivação das pessoas, a justificação e o apoio social àquelas que os buscam e os aplicam.
A educação para o desenvolvimento sustentável e cidadão se percebe como um processo de aprendizagem para tomar decisões que tenham em conta, em longo prazo, o futuro da economia, a ecologia e a equidade de todas as comunidades. Criar condições para delinear cenários futuros constitui-se na principal missão da educação.
Para a Unesco, é impossível ter uma educação voltada para o desenvolvimento sustentável e cidadão, se ela não tiver qualidade.
Desta forma, a educação superior de qualidade, além de formar profissionais com competências, habilidades e atitudes científicas, tecnológicas e culturais para atuarem, de forma cidadã, no Século XXI, deve participar como protagonista da construção de um mundo globalizado igualitário e sustentável. Cumpre também pensarmos e implantarmos efetivamente a concepção de qualidade como equidade.
Em relação à avaliação, é fundamental que, considerando a concepção de qualidade descrita acima, se concretize pautada em premissas pedagógicas e que se caracterize como uma ação formativa e democrática, que contemple as dez dimensões estabelecidas na Lei 10.861/2004, visando o alcance da seguinte finalidade do Sinaes:
A melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional e efetividade acadêmica e social e, especialmente, a promoção do aprofundamento dos compromissos e responsabilidades sociais das instituições de educação superior, por meio da valorização de sua missão pública, da promoção dos valores democráticos, do respeito à diferença e à diversidade, da afirmação da autonomia e da identidade institucional.
Sintetizando, a qualidade não pode ser considerada de forma dissociada da responsabilidade social da educação superior, por não se tratar de atributo abstrato, mas de um juízo valorativo construído socialmente, respeitadas a identidade e a diversidade institucionais.
Assim, qualidade é atributo ou conjunto de atributos que existe no seio da IES que, no cumprimento de sua MISSÃO, satisfaz as expectativas de seus membros e da sociedade e atinge padrões aceitáveis de desempenho revelados pelos indicadores de qualidade.
A avaliação é o estabelecimento de processo dialógico que permite olhar as dimensões quantitativas e qualitativas como expressão do vivido e do desejado, como projeto de formação relevante para o cidadão e para a sociedade.
Avaliar é a identificação de potencialidades e fragilidades, com destaque para os pontos fortes e fracos nos processos acadêmicos e administrativos, tendo como referências a legislação, os atos normativos e os documentos institucionais (Regimento, Estatuto, Planos, PPI, PDI e PPC).
ENADE E INDICADORES NA INDUÇÃO DA QUALIDADE NA EDUCAÇÃO SUPERIOR
Apesar das limitações impostas pela valorização excessiva do Enade, do CPC e do IGC, no período de 2008 a 2016, como os indicadores de qualidade determinantes da regulação e da supervisão, é possível afirmar que essa política de avaliação estimulou, nas Instituições de Educação Superior, a preocupação com a qualidade na formação superior, assim como a necessidade de profissionalização da gestão.
Considerando o acúmulo teórico e prático sobre o uso desses indicadores e a implantação de novas bases legais pelo Decreto 9.057/2017 e pelo Decreto, que substituíra o Decreto 5.773/2006, é fundamental a revisão e a atualização dos atuais indicadores, visando contemplar integralmente os postulados do Sinaes, além da concepção de qualidade na educação superior preconizada pela Unesco.
Como contribuição ao debate, destaco alguns pontos positivos em relação ao papel do Enade e dos Indicadores, além de trazer a baila diversos pontos negativos e sugestões a serem consideradas nesta nova fase da educação superior, objetivando o aprimoramento da avaliação na ampliação da indução da qualidade.
PONTOS POSITIVOS:
1) A introdução e consolidação da “cultura da avaliação” no âmbito da graduação, com divulgação das dimensões, indicadores e critérios de análise, gerando dados e informações sobre os cursos e sobre as IES, com base em parâmetros nacionais e internacionais, possibilitando que as IES tenham um ponto de partida para identificar as potencialidades e fragilidades, visando aperfeiçoar o planejamento de ações;
2) Maior comprometimento por parte dos Dirigentes das Mantidas e das Mantenedoras com os resultados avaliativos oriundos do Sinaes;
3) O ENADE busca verificar o que o estudante é capaz de fazer com o conhecimento adquirido e não o “quanto” ele aprendeu. Com efeito, a forma contextualizada com que as provas do ENADE têm sido elaboradas é um ponto bastante positivo. Ao invés de resgatar conteúdos tradicionalmente memorizativos, o Exame se propõe a analisar as habilidades dos estudantes, trabalhando com enunciados contextualizados e com a teoria do item em seus destratores[1]. Desse modo, sugerimos que o modelo adotado na prova seja continuado, embora a organização dos conteúdos e competências precisem ser mais amplamente diversificados;
4) A prova avalia através de questões discursivas e objetivas, o que é muito positivo, posto que, variando as formas como constrói as informações, a prova permite avaliar habilidades e competências diversas;
5) O Enade avalia de uma forma integradora, analisando as habilidades e competências dos estudantes, suas relações com a instituição de educação superior e a percepção que ele possui tanto de suas competências como da IES onde ele está inserido. Com isso, ele agrega a avaliação e a autoavaliação;
6) A Avaliação é realizada por abordagem centrada em ciclos trienais. Isso é muito positivo;
7) A realização da prova do Enade é feita, exclusivamente, nas Instituições de Educação Superior;
8) Incremento das relações interinstitucionais, buscando articular as áreas e ações acadêmicas e administrativas;
9) Valorização da profissionalização da gestão em todos os níveis e dimensões organizacionais;
10) O fato do Exame ser trabalhado em nível nacional contribui para que haja uma uniformização na formação profissional em todo país, garantindo maior qualidade para as IES.
PONTOS NEGATIVOS:
1) Embora o objetivo primeiro do exame, já destacado no seu nome, seja avaliar o desempenho dos estudantes com relação aos conteúdos programáticos previstos nas diretrizes curriculares dos cursos de graduação, o Enade tem sido utilizado quase que exclusivamente para estabelecer um ranqueamento entre as instituições de ensino superior, retirando o foco dos estudantes e fortalecendo os holofotes sobre as instituições de ensino, gerando, com isso, uma competição que em pouco contribui para melhoria da qualidade da educação superior brasileira.
Explicando: Diferentemente do ANASEM – Avaliação Nacional Seriada dos Estudantes de Medicina[2] que avalia a proficiência do estudante, situando-o no seu contexto profissional, apontando se o conhecimento dos estudantes é básico, adequado e avançado, os resultados do ENADE não são avaliados em função da proficiência ou conhecimento do estudante, apenas apresentando um percentual de acertos. Com efeito, uma nota 3,95, por exemplo, pode não representar nada para o estudante, pois não dá para afirmar que ele esteja apto para exercer eficientemente sua profissão.
Após a prova, o próprio estudante, objeto da avaliação, desconhece seu desempenho e não tem condições de analisar como se encontra sua competência profissional. Ele esquece o exame e a sociedade faz uso de seus resultados apenas para comparar as IES entre elas, estabelecendo uma comparação injusta e pouco eficiente para melhoria da qualidade da educação.
Logo, o que ocorre é que os resultados da prova do Enade não são usados para melhorias, pois o MEC não propõe ações concretas pós Enade, o que faz com que este exame não tenha um fim específico em si mesmo, servindo apenas para classificar e não para reformular as políticas públicas com foco na melhoria da qualidade do ensino. A forma como o ANASEM apresenta os resultados apontando se o conhecimento dos estudantes é básico, adequado e avançado, permite, muito mais, fazer uso destes resultados para repensar a formação em Medicina.
Ademais, da forma como o Enade tem sido utilizado, ele pouco se diferencia do antigo Provão, anteriormente utilizado como sistema de avaliação da Educação Superior. Isso porque, enquanto o Provão se prestava a ser um mecanismo exclusivo de regulação, o Enade deveria ser não só um mecanismo de regulação, mas, sobretudo, ser uma ferramenta de avaliação do aluno, através do diagnóstico de suas habilidades e competências adquiridas ao longo de um ciclo de três anos de escolarização superior, especialmente os seus conhecimentos sobre aspectos mais gerais, não relacionados, apenas, aos conteúdos específicos, aliado à sua visão sobre a instituição que ele estudou. Entretanto, o caráter regulatório tem predominado e a ampla divulgação feita do resultado do Enade não enfoca a proficiência dos estudantes, mas apenas ranqueia as instituições. E ao fazer isso, mobiliza as energias das instituições para obterem melhores notas, o que não, claramente, contribui para melhoria da proficiência dos estudantes.
SUGESTÕES PARA APRIMORAMENTO:
É preciso lembrar que o Enade não pode ser o fim, mas o início de um investimento na melhoria da qualidade da educação superior. Deste modo, o que sugerimos é que os rumos do Enade sejam trilhados em paralelo aos rumos do ANASEM, valorizando mais a capacidade dos estudantes do que a competição entre as IES;
2) Punição aplicada ao curso de graduação em face à nota negativa do Enade, maior componente do CPC do curso. A punição leva a entender que o curso é de má qualidade quando uma única turma do curso que fez o Enade foi mal avaliada. Tal curso fica sob “vigilância” e tem um prazo determinado para descobrir a “fórmula mágica” da nota boa, do contrário, o curso pode ser fechado e a instituição punida. Isso ocorre porque não há uma análise mais holística ou global do curso, pois as avaliações do Enade, maior componente do CPC, não são comparadas as avaliações in loco de autorização e reconhecimento, e são sempre tratadas isoladamente;
É preciso lembrar que o Enade é uma avaliação pontual que não expressa, verdadeiramente, a qualidade dos estudantes e, nem tampouco, do curso de graduação. Registre-se, também, que o grupo de alunos inscritos no ENADE é formado, também, por alunos pré-concluintes[3], assim chamados aqueles que estão no penúltimo ano do curso, no momento do Enade, e que terão a possiblidade de colar grau até o meio do ano seguinte, se misturando com os concluintes, e, todos são avaliados como se já tivessem concluído o curso. Com isso, ao nosso ver, estes alunos são os que terão mais dificuldades em responder a prova, posto que serão avaliados por conteúdos que podem ainda não ter estudado. Vale ressaltar, também, que há cursos que, na ocasião da realização do ENADE, ainda não possuem concluintes e são avaliados apenas pelo desempenho dos pré-concluintes, sendo comparados com cursos que possuem concluintes.
SUGESTÃO PARA APRIMORAMENTO:
Seria de extrema valia que a avaliação de desempenho do estudante via Enade fosse relacionada com outras formas de avaliação in loco, como o CC do reconhecimento do curso, a fim de se garantir que a qualidade de um curso não fosse, exclusivamente, divulgada a partir do desempenho de uma pequena parcela dos estudantes daquele curso, em uma única avaliação;
3) Outro ponto negativo, é o fato do questionário socioeconômico, feito pelo aluno, que compõe também o CPC, ter o valor a partir apenas da resposta do estudante. Ou seja, o aluno não respondendo a alternativa 6, que no questionário é a resposta mais completa, repercute diretamente de forma negativa na composição dos INSUMOS. CPC= ENADE – IDD – INSUMOS (Questionário socioeconômico – CENSO)
SUGESTÃO PARA APRIMORAMENTO:
É a de que a análise sobre a ORGANIZAÇÃO DIDÁTICO – PEDAGÓGICA / INFRAESTRUTURA E INSTALAÇÕES FÍSICAS / OPORTUNIDADES DE AMPLIAÇÃO DA FORMAÇÃO ACADÊMICA E PROFISSIONAL, pudesse ser avaliada (para composição da nota do CPC) com dados da visita in loco feita pelo MEC.
4) As comissões assessoras são formadas, apenas, por profissionais da área de conhecimento avaliada, não tendo especialistas em avaliação. Isso porque, mesmo havendo abertura para que docentes componham as comissões de avaliação através das comissões assessoras e do Banco Nacional de Itens – BNI[4], todos os profissionais são da área avaliada. Isso pode ter um especial impacto nas especificações do Enade porque as comissões também são responsáveis pela determinação do formato da prova e a maneira como as questões são propostas e apresentadas. A guisa de exemplo, ainda encontramos questões pouco contextualizadas em algumas áreas do conhecimento, enquanto, em outras, as provas são demasiadamente contextualizadas, não havendo equilíbrio entre as diferentes áreas.
SUGESTÕES PARA APRIMORAMENTO:
Ter, em todas as comissões assessoras, independentemente da área, pelo menos um especialista em avaliação da aprendizagem.
5) A forma como as provas são elaboradas e construídas do ponto de vista das competências a serem avaliadas nos estudantes. Embora o Enade afirme, em sua proposta inicial, que avaliará as habilidades e competências dos estudantes angariadas em face aos conteúdos programáticos de acordo com as Diretrizes Curriculares Nacionais dos Cursos de Graduação, observa-se uma predominância de determinadas áreas da formação ou conteúdos em detrimento de outras que são muito relevantes para o exercício profissional dos egressos, mas que são esquecidas. Ademais, os conteúdos avaliados na prova ficam a cargo das “especialidades” dos docentes que compõem a comissão assessora responsável pela construção da prova, de modo que, a cada exame, identificamos apenas questões voltadas ao perfil da comissão assessora e não a totalidade de conteúdos que estão presentes nas diretrizes curriculares nacionais. Da forma que está, interfere, inclusive, na construção das matrizes curriculares dos cursos de graduação. À medida que ranqueia as IES ele favorece que se façam ajustes nos currículos com o objetivo de se conquistar melhores posições no ranking colocando matérias que privilegiam o resultado, em detrimento do objetivo primacial do curso. Isto é um risco aos rumos que o Exame tem dado à formação profissional inicial.
Por exemplo, nos cursos de licenciaturas[5], o que identificamos é que cerca de metade da prova contempla políticas públicas e fundamentos sócio históricos da educação. Enquanto isso, conteúdos extremamente relevantes, tais como Psicologia do Desenvolvimento e da Aprendizagem, são quase que ignorados pelos exames, tendo aparecido uma única vez. Os impactos desse negligenciamento podem ser severos: imaginemos a formação de professores que não entendem de desenvolvimento humano? Certamente, teríamos enormes problemas na educação brasileira.
Isso acontece em outras áreas do conhecimento. Por exemplo, no curso de Direito, o campo do Direito Constitucional[6] constitui a base do exame e conteúdos extremamente relevantes, tais como Direito tributário, são tratados como periféricos nesse processo avaliativo.
Observa-se, ainda, que questões contemporâneas, tão urgentes na formação profissional, não acompanham a velocidade com que as profissões vão surgindo ou se transformando na sociedade tecnológica, digital ou disruptiva. Isso pode impactar negativamente nos cursos que poderiam implementar uma formação mais dinâmica, antenada às demandas do mercado atual. Tal realidade compromete, inclusive, o alcance do objetivo proposto pelo Enade, que é avaliar o nível de atualização dos estudantes com relação à realidade brasileira e mundial.
SUGESTÕES PARA APRIMORAMENTO:
Diversificar as comissões assessoras e direcionar que o trabalho da equipe deve ter foco no perfil do egresso e não nos interesses pessoais de cada membro da comissão assessora. O foco do ENADE não pode ser restrito, mas, sim, cada vez mais amplo, dando conta de uma formação profissional que assume um caráter diversificado e geral.
Ademais, importante criar uma diversificação dos conteúdos abordados contemplando, em iguais percentuais, todos os conteúdos que compõem as Diretrizes Curriculares Nacionais. Isso impediria de que o exame tivesse a “cara da comissão assessora”, passando a ser composto pelas exigências do perfil profissional do egresso disponível nas DCNs.
6) A maneira como se calcula o IDD – Indicador de Diferença entre os Desempenhos Observados e Esperados. O IDD tem o propósito de trazer às instituições informações comparativas dos desempenhos de seus estudantes concluintes em relação aos resultados obtidos, em média, pelas demais instituições, cujos perfis de seus estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado efeito do curso, entretanto, na maneira como é calculado, o IDD não expressa resultados reais que permitam inferir sobre a qualidade da formação. Para atingir esse objetivo seria necessário observar a relação existente entre o perfil dos ingressantes e dos estudantes concluintes do mesmo curso a respeito de seus conhecimentos relacionados a profissão. Conhecendo o desempenho dos estudantes que ingressam na instituição no decorrer da formação, seria possível inferir de forma mais real a respeito do resultado esperado na avaliação de desempenho dos estudantes ao final do curso. Da forma como IDD é calculado, os alunos ingressantes são avaliados via ENEM, ocasião em que estão sempre motivados e lutam para conquistarem, ao máximo, melhores desempenhos, posto que isso lhes garantirá uma vaga no Ensino Superior. Os concluintes são avaliados via Enade, avaliação em que os alunos concluintes (ou pré) fazem a prova por fazer, pois não representam nada para eles, não sofrem nenhuma consequência com o resultado final e não percebem o impacto direto em suas carreiras profissionais. Como o IDD avalia o progresso do estudante, o resultado final se apresenta irreal, porque, compara alhos com bugalhos, ou seja, conhecimentos distintos, ENEM e ENADE, em momentos distintos. Do ponto de vista do rigor metodológico, isso é um problema.
SUGESTÕES PARA APRIMORAMENTO:
Comparar o próprio estudante ao longo do curso, como faz o ANASEM. Desse modo, sugerimos que o mesmo aluno faça o exame no 2º ano do curso, no 4º ano e no 6º ano (nos cursos em que houver), sendo comparado em seu processo evolutivo, em relação aos saberes da profissão e não comparando conhecimentos gerais e conhecimento profissional.
Ademais, a atribuição de pesos diferentes na correção das questões da prova do Enade, considerando os períodos integralizados pelos alunos concluintes inscritos no Enade, isto é, alunos concluintes em dezembro do ano da prova ou alunos concluintes em julho do ano seguinte à realização da prova.
Sugerimos, ainda, que as primeiras edições do exame, como possuem finalidade diagnóstica, sejam feitas à distância e apenas a última edição seja feita na modalidade presencial como acontece hoje em dia. Além disso, para cumprir a função diagnóstica, é preciso que seja divulgada a matriz de referência que será avaliada em cada curso e em cada uma das edições. Não é eficiente aplicar a mesma prova dos concluintes àqueles que estão na metade do curso, mas, sim, analisar o que eles sabem a respeito da profissão no momento em que são avaliados.
7) O dia e horário em que o exame é aplicado é outro ponto a ser considerado. O ENADE é aplicado aos domingos às 13h no horário de Brasília, no mês de novembro. Neste período, o país vive o horário de verão e muitos estados do Norte e do Nordeste não estão inseridos neste horário. Rondônia tem 2 horas de diferença e o Acre tem 3 horas de diferença de Brasília no horário de verão. Assim, em boa parte dos estados os alunos precisam se submeter ao exame ao meio dia, e até antes disso, sendo preciso, para isso, estarem disponíveis desde o início da manhã.
SUGESTÕES PARA APRIMORAMENTO:
Aplicar a prova no horário da manhã, das 9 às 13hs.
8) O aluno não tem compromisso com o resultado da prova e comparece só para não levar falta. Às vezes, devolve a prova sem completá-la, pois é muito melhor estar na praia do que fazendo prova. Ou, às vezes, quando quer prejudicar a instituição também não responde a prova conscientemente.
SUGESTÕES PARA APRIMORAMENTO:
Comprometimento do aluno com o resultado da prova é fundamental. Diferentemente do Exame Nacional do Ensino Médio (Enem), em que o estudante é beneficiado caso atinja resultados positivos, o aluno que não tiver um bom desempenho no Enade não sofre nenhuma restrição. Logo, é fundamental que o Governo Federal desenvolva uma política de conscientização dos estudantes em relação aos resultados do Exame, talvez colocando a nota do aluno no diploma, uma vez que para identificar pontos que devem ser melhorados é necessária uma coleta de dados tangível e de acordo com a realidade.
9) Tratamento igualitário do Enade em relação a todos os alunos, sem considerar a diversidade e regionalidade das instituições.
SUGESTÕES PARA APRIMORAMENTO:
É necessário alinhar a avaliação com a diversidade e regionalidade das instituições, abolindo o sistema comparativo e valorizando as características e especificidades institucionais e regionais.
OUTRAS SUGESTÕES DA ABMES PARA O APRIMORAMENTO DA AVALIAÇÃO.
10) Por fim, como forma de aperfeiçoamento do sistema nacional de avaliação, mister se faz haver um aprimoramento da concepção dos indicadores de qualidade coerentes com as características, especificidades e modalidades (presencial e a distância) dos cursos de graduação (bacharelados, licenciaturas e superiores de tecnologia) e das IES (faculdades, centros universitários e universidades). Há uma valorização da padronização sem considerar vocações, dimensões e peculiaridades institucionais e regionais.
11) Integração dos instrumentos avaliativos, dos resultados obtidos pelas avaliações in loco e dos indicadores de qualidade.
12) Substituição das escalas de estimação da qualidade para que possam expressar mensurações e valorações absolutas (não relativas).
13) Composição de escalas de valores que permitam a comparação entre as edições dos indicadores.
14) Recuperação, pelo INEP/MEC, da autoavaliação institucional conduzida pela Comissão Própria de Avaliação (CPA) no contexto do Sinaes, visando integrar os componentes dos indicadores de qualidade.
15) Eliminação do caráter punitivo da avaliação, por comprometer o papel social das IES particulares que, atualmente, respondem por uma participação superior a 75% do sistema de educação superior, ou seja, de cada 4 estudantes de graduação, 3 frequentam um curso de graduação ofertado por uma Instituição privada, além da garantia da capilaridade do sistema, isto é, a rede privada está nas capitais e também nos municípios onde as instituições públicas não têm condições de atuar. É necessário alinhar a avaliação com a diversidade e regionalidade das instituições, abolindo o sistema comparativo e valorizando as características e especificidades institucionais.
CONSIDERAÇÕES FINAIS
Frente às metas do PNE; às mudanças das normativas da Educação Superior, que trazem um novo tempo para a Graduação e os desafios do Século XXI, reafirmo a necessidade, urgente, de aprimoramento dos indicadores de qualidade, em consonância com os princípios e diretrizes do Sinaes.
O processo de construção coletiva dos novos indicadores, que deverão expressar a complexidade, a abrangência e a diversidade do sistema educacional brasileiro, precisará contar com a participação dos diversos setores da Educação Superior.
Neste sentido, é fundamental assumir que avaliação não é um instrumento de controle nem de punição, mas, de formação e transformação. Avaliar é um processo orientado para a tomada de decisões e para a execução de ações e que busca determinar: a eficiência (“fazer certo a coisa”); a eficácia (“fazer a coisa certa”); a efetividade (“fazer certo a coisa certa” ou “fazer a coisa que tem que ser feita”); a sustentabilidade no uso de recursos, a partir dos objetivos e metas definidos.
Referências Bibliográficas:
BRASIL. Lei nº 10.861, que instituiu o SINAES, 2004.
BRASIL. Portaria Normativa nº 40, que instituiu o e-MEC.
Brasil. Portaria Normativa nº 04, que regulamentou a aplicação do Conceito
Preliminar de Cursos Superiores (CPC), 2008.
BRASIL. Portaria Normativa nº 12, que instituiu o Índice Geral de Cursos da Instituição de Educação Superior (IGC), 2008.
BRASIL. Censo da Educação Superior do INEP/MEC, 2015.
BRASIL. Lei nº 13.005, do Plano Nacional de Educação (PNE), 2014.
BRASIL. Decreto nº 9.057, que regulamentou o art. 80 da Lei nº 9.394, que estabelece as diretrizes e bases da educação nacional, 2017.
DELORS ET AL. UNESCO. Declaração Mundial sobre Educação Superior no Século XXI: visão e ação, 2006.
[2] O ANASEM avalia a proficiência do estudante, situando-o no seu contexto profissional. Tira o foco do percentual de acertos e analisa o traço latente (traço latente é a predominância das respostas, a fim de entender como os alunos pensam, em suas áreas do conhecimento, na resolução de seus desafios profissionais). Assim, O ANASEM já analisa os resultados apontando se o conhecimento dos estudantes é básico, adequado e avançado, ao invés de apenas apresentar um percentual de acertos que compara as IES, mas não diz eficazmente como está a proficiência dos estudantes. Com efeito, O ANSEM avalia as competências e habilidades desenvolvidas pelos estudantes de Medicina, em caráter sequencial e progressivo, tendo como referência as Diretrizes Curriculares Nacionais do Curso de Graduação em Medicina. A avaliação é realizada por meio de instrumento de prova composto de questões objetivas e discursivas que avaliam quatro grandes competências estruturais que o estudante de Medicina deve desenvolver ao longo de sua formação. A matriz de referência para elaboração dos instrumentos de avaliação dos estudantes do 2º, 4º e 6º anos foi construída a partir dessas competências estruturais, às quais são associados os objetos de conhecimento e a indicação das atitudes previstas nas Diretrizes Curriculares. Essas associações indicam as habilidades que deverão ser desenvolvidas durante a graduação. As habilidades indicadas estabelecem correspondências entre as competências e os objetos de conhecimento e permitem avaliar com clareza o que e como foi aprendido. Elas apontam a orientação para elaboração dos itens das provas. Por essa razão, são estruturadas de modo objetivo, observável e mensurável. Não terão publicidade os dados identificados dos estudantes e dos cursos. O estudante receberá o seu resultado individual posicionado na escala de proficiência (100,10), em que a interpretação de seu desempenho estará descrita e situada em um dos três níveis de proficiência: básico, adequado e avançado. O participante receberá, também, a média do desempenho de sua turma e a média nacional dos estudantes que realizaram a avaliação na mesma edição. O coordenador de curso receberá os dados de seus alunos avaliados e a média de todos os alunos de todos os cursos do Brasil da mesma edição do exame, sem identificação, bem como a distribuição dos desempenhos desses alunos em cada nível da escala de proficiência. (ANASEM – Documento Básico (INEP/MEC)
[3] Embora o INEP não chame nenhum aluno de pré-concluinte, nomeamos desta forma os alunos que ainda faltam um semestre para conclusão do curso na ocasião do exame e, mesmo assim, precisam ser inscritos para realização da prova.
[4] O Banco Nacional de Itens – BNI é uma plataforma do INEP na qual todo e qualquer professor do Brasil, a partir de critérios pré-estabelecidos, pode se inscrever e produzir questões que serão utilizadas na composição do ENADE. Foi criado para fornecer insumos para as diversas avaliações que o INEP desenvolve, assegurando acesso a itens de qualidade, elaborados e revisados para cada instrumento de medição, seja prova ou questionário. O Inep realiza chamadas públicas para a construção de uma rede de colaboradores interessados em elaborar e revisar itens para o Banco Nacional de Itens, constituindo o Banco de Colaboradores do BNI para cada avaliação ou exame em desenvolvimento.
[5] Pedagogia – Comparativo de Disciplinas nos resultados ENADE. Abaixo, os percentuais das questões objetivas das disciplinas de Políticas Públicas e de Psicologia da Aprendizagem no ENADE dos anos 2008, 2011 e 2014, bem como um parecer sintético sobre as últimas provas. 2014 Políticas Públicas: 5 questões, que equivale a 19% da prova. Psicologia da Aprendizagem: 1 questão, que equivale a 4% da prova. 2011 Políticas Públicas: 6 questões, que equivale a 23% da prova. Psicologia da Aprendizagem: Nenhuma questão da disciplina 2008 Políticas Públicas: 4 questões, que equivale a 15% da prova. Psicologia da Aprendizagem: 1 questão, que equivale a 4% da prova.
[6] Exemplos desta má distribuição dos conteúdos. Direito – Comparativo de Disciplinas nos resultados ENADE. Abaixo, os percentuais das questões objetivas das disciplinas de direito constitucional e de direito tributário no ENADE dos anos 2009, 2012 e 2015, bem como um parecer sintético sobre as últimas provas: 2015 Direito Constitucional: 4 questões, que equivale a 13,79% da prova. Direito Tributário: 1 questão, que equivale a 3,44% da prova. 2012 Direito Constitucional: 8 questões, que equivalem a 29,62% da prova. Direito Tributário: 1 questão, que equivale a 3,7% da prova. 2009 Direito Constitucional: 6 questões, que eq
