A avaliação e o setor privado: uma proposta de revisão de critérios

Em: 11 Março 2011

Claudio de Moura Castro

Simon Schwartzman

Sumário executivo

O presente documento é a proposta do Fórum das Entidades Representativas do Ensino Superior Particular. Seu objetivo é sugerir alterações na sistemática de avaliação e credenciamento de cursos. A proposta procura aperfeiçoar o processo, visando melhorar a operacionalização do sistema, face às suas dimensões, evitando também erros que possam comprometer a sua credibilidade. Acrescente-se que busca estabelecer uma lista simples e objetiva de requisitos mínimos que devem ser atendidos pelas IES e seus cursos, cujo atendimento deverá ser a base dos processos de regulação. Tem igualmente como propósito fazer com que o sistema de avaliação tome em conta as características específicas das instituições de ensino superior privado no Brasil, que não são idênticas às do ensino público, de maneira geral.

Inicialmente, trata das limitações encontradas no presente sistema, bem como daqueles aspectos e fórmulas que discriminam contra o setor privado. Em seguida, propõe uma clara separação entre avaliação e regulação do sistema. Passa então a alinhavar uma proposta de alteração dos procedimentos de avaliação. Finalmente, propõe sugestões para novos mecanismos de autorização de funcionamento e credenciamento dos cursos.

Em síntese, a proposta consiste nos seguintes pontos:

I - Na avaliação dos cursos:

Manter a atual prova de conhecimentos específicos dos alunos concluintes dos cursos, tratando de aperfeiçoar a maneira pela qual estas provas são elaboradas.
Eliminar a aplicação desta prova para os alunos iniciantes
Eliminar ou repensar totalmente a prova de conhecimentos gerais
Manter a estimativa do valor adicionado (IDD), mas tomando como posição inicial os conceitos obtidos pelos alunos no ENEM
Desenvolver uma metodologia e estabelecer um prazo para que as IES estabeleçam procedimentos de acompanhamento de seus formados, com informações sobre a área de atividade e nível de remuneração obtidos ao longo dos anos.
Trabalhar com representantes qualificados do setor privado na definição dos conteúdos da prova de conhecimentos específicos das diversas disciplinas, abrindo inclusive a possibilidade de criar mais de uma avaliação quando houver diversificação real entre carreiras com a mesma denominação..
Divulgar os resultados dos itens 1, 4 e 5 de maneira separada, sem agregá-los em um índice único.
Estabelecer procedimentos de verificação de processos e medidas corretivas para cursos que tenham resultados considerados insatisfatórios em um ou mais destes indicadores.
Nestes procedimentos de verificação de processos, dar a devida consideração para a experiência profissional dos professores, e reduzir a ênfase atual em critérios formais de titulação acadêmica e tempo integral para os cursos de formação profissional.

II - Procedimentos de autorização e credenciamento:

Reduzir ao mínimo as exigências formais prévias nos processos de autorização
Requerer um contrato de adesão de cada IES no início de seu funcionamento ou no recredenciamento, que estabeleça com clareza seus objetivos pedagógicos na área de formação tecnológica, profissional e de pós-graduação, conforme o caso, que, uma vez aprovado, possa ser verificado apos um período definido, como parte dos processos de credenciamento e recredenciamento.

A avaliação e o setor privado: uma proposta de revisão de critérios

Claudio de Moura Castro

Simon Schwartzman

As limitações do atual sistema de avaliação

Cumpre reconhecer e louvar o sistema de avaliação do ensino superior brasileiro, estabelecido na década de 90 e revisto e reformulado desde então. Foi um grande avanço - inclusive, está à frente de países educacionalmente mais maduros. Contudo, isso não é razão para ignorar algumas limitações e distorções das práticas vigentes e tentar corrigi-las.

De fato, os problemas não são enormes e os reparos propostos não alteram a filosofia da avaliação. Contudo, as conseqüências dos equívocos presentes são relativamente graves. Em particular, algumas características da avaliação discriminam contra e prejudicam o setor privado.

Dificuldades de precisão e compreensão

O sistema presente de avaliação tornou-se de difícil compreensão, mesmo para quem se dedica a entendê-lo. Ao trabalhar com índices que incluem muitos indicadores, alguns deles resultantes de estimativas estatísticas relativamente complexas, torna os resultados opacos. O "Conceito Preliminar de Cursos" adotado pelo Ministério da Educação combina os resultados do ENADE, que já, por si, é uma estimativa a partir da combinação de resultados de diferentes provas; do "Indicador de Diferença de Desempenho", uma estimativa estatística da diferença entre os resultados obtidos pelos alunos graduandos na prova de conhecimentos específicos e o que seria esperado, dadas as características dos alunos entrantes; e uma combinação de diversos indicadores de processo, como características dos docentes, infra-estrutura, etc., combinados de forma ponderada conforme pesos estimados estatisticamente. Para gerar o Conceito Preliminar Final, todos estes dados são combinados usando ponderações estabelecidas com critérios pouco claros. Em uma última etapa, os Conceitos Preliminares de diferentes cursos são combinados para definir o Conceito da Instituição.

1. Índices compostos não têm uma representação intuitiva

Nem sempre é boa idéia somar alhos com bugalhos. Índices compostos podem ser apropriados em certos casos e impróprios em outros.

Por mais de uma razão, advogamos que, no caso, não é uma boa idéia. Os índices hoje usados incluem indicadores excessivamente frágeis e ambíguos - que, aliás, deveriam ser excluídos de qualquer análise, como mencionaremos adiante. Ademais, mescla resultados com processos, um erro lógico. E enterra nos seus subterrâneos um dos mais críticos indicadores, o valor adicionado (IDD). O atual índice soma o ambíguo ao desconhecido e inclui o opaco

2. Dentro de um índice composto, o valor adicionado permanece um conceito ainda obscuro

Em princípio, valor adicionado, chamado de IDD pelo MEC, é um conceito de extrema utilidade para a política educativa. De fato, permite estimar quanto um grupo de alunos aprendeu durante o curso, já que a prova específica dos concluintes do ENADE apenas mostra o que ele sabia ao se formar. Mas esse resultado é profundamente influenciado pelo nível acadêmico dos alunos no dia em que puseram os pés na faculdade. De fato, pesquisas mostram que 80% da variância explicada na prova final resulta desses resultados iniciais.[1] Em contraste com os resultados desta prova, o valor adicionado mostra o papel líquido do curso superior, isto é, quanto os alunos aprenderam ao longo dos quatro anos, descontando o que já sabiam. Atualmente, o IDD é obtido pela a comparação estatística desse par de notas (as provas de conhecimento específicos dos alunos entrantes e concluintes) gerando uma estimativa da contribuição específica do curso. Mas como outros conceitos estatísticos abstratos, leva tempo para que o público se acostume a ele e entenda o que quer dizer. Ao agregar tudo em um índice único, perde-se completamente o seu significado.

O entendimento se torna ainda mais difícil quando o resultado desta estimativa é combinado com o ENADE convencional, que, por sua vez, combina resultados de provas de alunos iniciantes e concluintes, e ainda adiciona os resultados de uma prova de conhecimentos gerais aplicada a todos os alunos entrantes e concluintes. Ao combinar estes diferentes indicadores, o resultado é que estamos, justamente, obliterando algumas das diferenças que mais interessaria conhecer. Tomemos o exemplo real de dois cursos de farmácia incluídos no CPC que têm o mesmo conceito preliminar. Um empregador gostaria de saber que o primeiro curso obteve nota 5 na prova de conhecimentos específica dos formandos (quanto o graduado sabe) e 2 no IDD (quanto o curso adicionou ao conhecimento do aluno). Neste caso, a qualidade final é excelente, mas a adição ao conhecimento dos alunos feita pelo curso é lastimável - a explicação plausível dos bons resultados finais a capacidade do curso para atrair e selecionar pessoas com melhor formação anterior. Contratar alguém desse curso pode ser uma boa idéia, pois no fim de contas, sabe mais. Contudo, para um aluno modesto que deseja um curso universitário que o faça crescer, esse curso é uma péssima escolha.

Em contraste, há outro curso que obteve a mesma média, mas com 2 e 5. Para esse mesmo aluno modesto que deva escolher onde fazer seu vestibular, o IDD 5 do segundo curso indica oferecer maior perspectiva de crescimento pessoal.

Esses resultados são tudo que o público precisa para tomar suas decisões. Portanto, é tudo que deve ser destacado, em relação ao funcionamento presente do curso. Uma outra informação importante, hoje não disponível, é como, na prática, os formados dos diferentes cursos se inserem no mercado de trabalho e a ela voltaremos mais adiante.

O Ministério da Educação tem a missão de não deixar que os alunos sejam vítimas de cursos de qualidade inaceitável. Portanto, deve decidir inicialmente que cursos deixar correr soltos e quais precisariam de ação corretiva para melhorar. Novamente, para isto bastariam o os resultados da prova específica do ENADE para os alunos concluintes e mais o IDD. No caso das instituições que obtêm escores muito baixos, esses indicadores fazer soar o sinal de alarme.

Voltando ao exemplo, o segundo curso tem méritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. Já o ensino do primeiro curso é péssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas são decisões críticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos? Um índice que junta os dois indicadores confunde situações muito diferentes.

Os dois indicadores têm o papel de acender uma luz amarela. Diante dela, o MEC será levado a perguntar o que está errado com os cursos que obtêm maus resultados nestes indicadores. Para isso, há outros indicadores, de processo, que podem ajudar a entender o que está ocorrendo - por exemplo, a qualidade dos professores, das instalações, e outros, que hoje entram também, de alguma forma, na estimativa do Conceito Preliminar. Mas essas são ferramentas de uso "clínico", servem apenas para fazer o diagnóstico de cada "enfermidade" que sofrem os cursos sinalizados como de desempenho inadequado pelo ENADE e IDD.

3. Somar variáveis de processo com medidas de resultado é logicamente incompatível.

É como somar o que o aluno sabe com o tamanho do prédio da escola. Obviamente, têm seus usos. Imaginemos engenheiros que precisam avaliar o desempenho de um protótipo de avião. Depois de o avião voar, basta medir o seu desempenho no ar. Mas enquanto ainda não voou, como não há medidas de resultados, são obrigados a trabalhar com modelos teóricos e experimentais para prever como a aeronave se comportará após a decolagem, ou seja, com variáveis de processo como a potência do motor e coeficiente de arraste.

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram lá se torna irrelevante. São detalhes técnicos que só a especialistas podem interessar. Usando metáfora conhecida, se o prato é delicioso, que importa a marca do fogão? Ou então, vamos medir a batata da perna do vencedor de uma prova de 100 m rasos e somar esse número aos segundos que levou para completar a prova?

Como dito no item anterior, se a nota dos graduados é baixa demais, está dado o alarme. Nesse caso, devemos recorrer às variáveis de processo, para identificar onde pode estar o problema, pois é tais notas são elementos de diagnóstico de disfunções. Para isso, são eminentemente úteis. Contudo, não faz sentido dar mais pontos a um curso que tem essa ou aquela característica de funcionamento, se já foi considerada a qualidade do produto final. De fato, se tal característica for eficaz, o seu efeito de melhorar as notas dos estudantes já está incluído na pontuação obtida na prova específica dos concluintes do ENADE. Se não contribui para o aprendizado, que papel poderia ter a inclusão do número que a mede?

Repetindo, para que o MEC cumpra seus objetivos de sinalizar os cursos que merecem atenção especial, o correto não é começar com indicadores de processo, e sim de resultados. Uma vez identificados os cursos abaixo de certo limiar no ENADE, somente então, entram em cena as variáveis de processo - e apenas para diagnosticar as causas das dificuldades.

Na verdade, estamos longe de conhecer o real impacto das variáveis de processo. Tome-se a relação aluno-professor. Trata-se de um tema exaustivamente pesquisado. E o que ficamos sabendo? Apenas que raramente se encontra alguma associação entre rendimento do aluno e essa quantos alunos há na sala.

Em definitivo, infra-estrutura não altera a qualidade do ensino. Mal comparando, como disse C. N. Parkinson, os Estados Unidos ganharam a Segunda Guerra operando seu Estado Maior em cabanas de madeira improvisadas. Depois que construíram o Pentágono, não ganharam mais nenhuma guerra. [2]

Mesmo quando se fazem análises de regressão com variáveis de processo, é enorme o risco de multi-colinearidade, passando por causação o que não passa de um fator lateral.

Vejamos um caso exemplar de ambigüidades. Alunos de doutores aprendem mais? Nos Community Colleges dos Estados Unidos, há uma firme convicção de que aprendem menos. Julga-se que se frustram por estar longe da pesquisa e não têm paciência para lidar com o perfil de alunos dessas instituições. Por estas razões, há regras proibindo a sua contratação. Será que essas instituições estão redondamente enganadas?

Alexander Astin, coroando décadas de pesquisas de acompanhamento de graduados de ensino superior nos Estados Unidos, chega a uma conclusão que desafia a tola mantra da ‘indissociabilidade do ensino e pesquisa':

"Attending a college whose faculty is heavily research-oriented increases student dissatisfaction and impacts negatively on most measures of cognitive and affective development. Attending a college that is strongly oriented toward student development shows the opposite pattern of effects." [p. 363] [3]

Enfim, sabemos pouco sobre o impacto de variáveis de processo. O que sabemos mostra ambigüidades e resultados incoerentes. Portanto, não parece ser o caso de usá-las, sobretudo, em avaliações que são entregues ao grande público e que têm impacto na opinião pública.

4. Opinião de alunos é frágil, pois eles não têm com que comparar

Avaliações feitas com alunos a respeito de seus cursos indicam sua satisfação ou insatisfação em um momento dado, mas não podem ser considerados como indicadores da qualidade do curso. Avaliações subjetivas são meras comparações com as expectativas que têm as pessoas. Se praticamente todos os alunos somente conhecem o seu próprio curso, como podem avaliar os planos pedagógicos? Como podem avaliar com segurança a infra-estrutura dos cursos? Com que outras instituições podem compará-los?

Tratam-se de julgamentos muito frágeis e voláteis. De fato, há evidências sugestivas de que os alunos melhores são mais bem informados e acabam sendo mais críticos com relação ao que lhes oferece o curso. Os resultados podem até ter uma correlação negativa com a qualidade do curso. Ou seja, os melhores alunos, que tendem a estar nas melhores instituições, teriam uma opinião mais negativa de tudo que observam. Além disto, muitas vezes, as medidas das opiniões ocultam percepções e avaliações muito diferentes por parte de alunos com perfis distintos.

Para as instituições, é útil conhecer regularmente o grau de satisfação ou insatisfação de seus estudantes com diversos aspectos de suas atividades, seja para corrigir aspectos que precisam realmente ser corrigidas, seja para levar aos estudantes as informações necessárias para que entendam melhor o trabalho que a instituição realiza. Mas estas opiniões não podem ser tomadas como indicadores da qualidade do curso enquanto tal.

5. Provas de formação geral não orientam esforços específicos durante o curso

O que cai em uma prova de formação geral? Se ninguém sabe, como parece ser o caso, como preparar-se para ele? Uma prova tem duas faces. Em uma, é uma forma de capturar o que os alunos aprenderam do currículo. Na outra, é uma indicação para alunos e cursos acerca do que é preciso ensinar e estudar para obter bons resultados.

A prova de formação geral utilizada pelo ENADE é extremamente ambiciosa nas intenções, e tecnicamente insustentável na implementação. Segundo o documento técnico correspondente, ela busca avaliar "a formação de um profissional ético, competente e comprometido com a sociedade em que vive. Foram também consideradas as habilidades do estudante para analisar, sintetizar, criticar, deduzir, construir hipóteses, estabelecer relações, fazer comparações, detectar contradições, decidir, organizar, trabalhar em equipe e administrar conflitos." Além disto, havia duas questões discursivas, que investigavam, segundo o resumo técnico, "aspectos como a clareza, a coerência, a coesão, as estratégias argumentativas, a utilização de vocabulário adequado e a correção gramatical do texto. Finalmente, na avaliação da formação geral foram contemplados temas como: sócio-diversidade, biodiversidade, globalização, novos mapas sociais, econômicos e geopolíticos, políticas públicas, redes sociais, relações interpessoais, inclusão e exclusão digital, cidadania e problemáticas contemporâneas."

Para medir cada uma desses aspectos, com um mínimo de validade, seria necessário definir com clareza uma matriz de competências associadas a um banco de itens de itens devidamente testados, e não, como é no ENADE, 8 questões de múltipla escolha e duas questões discursivas. Isso é tecnicamente insustentável.

Na verdade, as competências mais gerais que esta prova busca medir já estão contempladas, pelo menos em princípio, pelo Exame Nacional do Ensino Médio. O exame das características e eventuais limitações do ENEM vai além dos limites deste documento. Mas afirmamos que não faz sentido tentar medir estas competências gerais, no caso do ENEM, por via de uma prova de cultura geral curta e tecnicamente improvisada, tal como faz o ENADE. Para isso, são necessárias provas de maior extensão.

A avaliação atual discrimina contra o setor privado

Por várias razões, o sistema presente prejudica as instituições privadas e traz a elas uma imagem negativa que não é justificada.

1. Incluir a pontuação de entrada no superior favorece às universidades públicas

Na pesquisa já citada, em co-autoria de José Francisco Soares e um dos autores da presente nota, foi possível medir com considerável precisão o valor adicionado por um curso superior. As equações nos permitiram concluir que da ordem de 80% da variância explicada se deveu à pontuação dos alunos ao entrarem no superior. Ou seja, sobram apenas 20% que são explicados pela excelência ou mediocridade do ensino oferecido.

A vasta maioria dos cursos superiores públicos recebe os melhores alunos. Esse fato, em si mesmo, garante um resultado satisfatório, quaisquer que sejam os méritos do ensino que oferece. Não cabe discutir aqui se é justo e nem injusto. É uma realidade: quem recebe alunos melhores termina com resultados melhores - daí a importância do IDD para mostrar a outra dimensão relevante. Embora a idéia inicial do ENADE fosse comparar o que o estudante sabe no final do curso com o que sabia no início, o ENADE, originalmente, somava os resultados das duas provas, em vez de calcular a diferença. Com isto, os resultados do ENADE eram inflados em favor dos cursos que recebem os melhores alunos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um viés que esconde a fragilidade da sua sala de aula, superestimando,ipso facto, a qualidade do curso.

Reconhecendo este fato, em 2008, o ENADE passou a considerar apenas o desempenho dos alunos concluintes, deixando de incluir no seu cálculo o desempenho dos alunos ingressantes. Mas a média dos ingressantes continuou sendo considerada no Índice Preliminar de Cursos com um peso de 15%, que torna a medida tendenciosa em favor das instituições, sobretudo públicas, que admitem estudantes de nível social mais alto.

2. No atual sistema de avaliação, a experiência profissional dos professores é ignorada e desvalorizada

Pareceria ocioso afirmar que só se aprende uma profissão com quem a domina. Não obstante, o sistema presente cria inúmeros óbices à contratação de profissionais de mercado que exibem muitos anos de experiência de trabalho em assuntos afins ao que precisa ser ensinado. Ao mesmo tempo, incentiva a contratação de mestres e doutores que podem ter pouca ou nula experiência de trabalho na profissão que irão ensinar. Na verdade, dado o pouco tempo de vida da nossa pós-graduação e a sua orientação para a docência, há muitas áreas em que quem tem experiência de trabalho não tem nem mestrado e que tem mestrado não tem experiência. Nas disciplinas profissionalizantes do currículo, não dar valor à experiência leva à contratação de quem não a tem, com conseqüências lesivas para os alunos.

É inconcebível que a experiência profissional não seja valorizada na avaliação. E ainda pior, que cursos sejam punidos na avaliação por terem no seu quadro docente, profissionais experientes, em vez de doutores. De fato, pesquisas mostram que há uma dimensão da prática que somente anos de experiência amadurece. Há uma "teoria da prática" que precisa fazer parte da formação do futuro profissional. [4] É inconcebível que hoje, somente os diplomas sejam valorizados na avaliação.

3. Tempo integral pesa demais

Em linha com o tópico anterior, a profissionalização não é lesada apenas pela indevida valorização do diploma nas disciplinas profissionalizantes. O tempo integral é também parte desta equação perversa, no caso das disciplinas profissionais. Como é fácil inferir, os melhores profissionais estão nas suas fábricas e escritórios. Podem estar dispostos a dedicar algumas horas à docência. Mas não querem deixar suas profissões.

Se forem mobilizados, em vez de mestres e doutores inexperientes, o curso perde pontos na avaliação, pois serão inevitavelmente horistas ou de tempo parcial. Portanto, tudo milita para desestimular a contratação de professores que trazem experiência profissional. Em cursos em que predominam as disciplinas profissionalizantes, como os tecnólogos, um curso que ofereça um programa preparando para o mercado de trabalho obterá notas baixas do MEC. Em contraste, se, graças aos seus mestres e doutores, obtiver nota alta, é quase certo ser um curso inapropriado para os alunos, pela sua incapacidade de transmitir as práticas profissionais. As universidades que operam cursos de formação tecnológica vivem esse dilema cotidianamente: Sua nota é baixa se os professores dos cursos tecnológicos não são mestres e doutores.

4. Excessiva valorização das publicações acadêmicas dos professores

Disciplinas acadêmicas têm nas publicações um dos indicadores de excelência dos professores. É justo que tais publicações sejam consideradas nos processos de avaliação das universidades com programas de pesquisa e pós-graduação. Porém, não há porque dar maior relevo a tais publicações para Centros Universitários e Faculdades não têm a pesquisa como meta. Obviamente, ainda menos para os cursos tecnológicos.

Nos cursos profissionalizantes, a publicação de estudos em periódicos científicos quase nada diz acerca da pertinência e qualidade do ensino oferecido. No limite, um químico trabalhando em contrato de pesquisas com empresas não poderia pensar em publicar os resultados, pois são segredos comerciais. Em situações usuais, os trabalhos mais representativos da criatividade e excelência profissional ou não são publicáveis ou nem sequer chegam a ser escritos. Podem ser intervenções nas empresas, projetos de aperfeiçoamento de métodos produtivos e muitas outras possibilidades.

No presente, isso tudo é ignorado, levando a uma corrida por publicações acadêmicas, distantes da essência do trabalho mais nobre da profissão. Essa é uma flagrante distorção, gerada pelo poder dos acadêmicos dentro dos processos de autorização.

5. Ignora a qualidade do desempenho do professor em sala de aula

Na maioria avassaladora das instituições de ensino superior, incluindo as universidades, praticamente não há pesquisa. Portanto, ou há boas aulas ou não há nada. Não obstante, inexistem formas de capturar os bons desempenhos dos professores em sala de aula.

É como se avaliássemos o desempenho de um automóvel pela sua emissão de ondas eletro-magnéticas no espectro ultra-violeta, em vez de falar de sua velocidade, aceleração e potência.

Avaliação e Regulação não se misturam

Há e deve haver uma separação entre avaliação e regulação. A primeira poderia ser considerada um assunto de "metrologia", "instrumentação" ou de "relojoaria". É o desafio de medir e dar sentido aos resultados. Tanto quanto possível, deve ser um processo neutro e isolado da operação dos sistemas.

Já a regulação é comando. É função inerente ao Estado. Parte de informações geradas pela avaliação. Mas múltiplas outras fontes podem e devem ser utilizadas nos procedimentos de regulação. Trata-se de uma atividade independente da avaliação e que deve ser guiada pelo bom senso, sob o marco de rotinas administrativas claramente estabelecidas.

Tanto a avaliação quanto a regulação têm muito a se beneficiar, se forem mantidas separadas. A avaliação requer critérios bem definidos, independência, isenção e distância da máquina administrativa, com suas pressões e correrias.

A regulação não pode estar demasiado atrelada à avaliação, pois requer julgamento, consideração de circunstâncias e situações particulares. A regulação pode conduzir a medidas que coíbem comportamentos ou requerer providências de saneamento. A avaliação apenas informa.

Obviamente, apesar de independente, a avaliação é um dos elementos mais importantes para o processo decisório. Em muitos casos cabem incentivos e prêmios vinculados a ela.

Enfatizamos, é preciso manter a distância entre diagnóstico e terapia. Se um curso em Cruzeiro do Sul (Acre) não encontra um mestre em estatística para ensinar essa disciplina, não pode ser penalizado da mesma forma que um outro localizado na cidade de São Paulo e que apresente essa mesma deficiência.

Exemplo da indevida falta de independência entre avaliação e regulação está no fato do MEC ser agente de regulação e mantenedor das IES federais, ao mesmo tempo. Ora, como pode manter sua independência regulatória se o mesmo órgão mantém instituições reguladas?

A nova avaliação: medidas de curto prazo

As providência abaixo relacionadas devem ser aplicadas no curto prazo. De fato, não vemos razões para procrastinar a sua implementação.

Para o público, conta apenas o ENADE e o Valor Adicionado (IDD)

1. Abandonar o uso de índices compostos

É simples: a avaliação do MEC deverá abandonar completamente os índices compostos que mesclam assuntos diferentes, pelas razões apresentadas anteriormente. São medidas opacas. São logicamente truncadas, por misturar resultados com processos.

2. Apenas o ENADE e o Valor Adicionado serão valorizados e divulgados amplamente

Temos diante de nós duas medidas preciosas: o ENADE e o IDD. Cada uma capta um aspecto crucial da qualidade da educação.

O ENADE captura o nível de conhecimento adquirido pelo aluno, ao longo de sua vida, coroado pelo que ofereceu seu curso superior. É exatamente uma das dimensões que queremos conhecer, ou seja, o grau de domínio do graduado, diante do currículo central da sua carreira.

O IDD captura a contribuição líquida do curso superior para a sua formação. Como os alunos chegam com níveis de formação muito diferentes, essa medida calcula apenas o que foi a contribuição de seu curso superior.

Temos nos dois indicadores tudo que o público precisa saber sobre aluno e curso. O resto é detalhe técnico de processo, disponível para quem se interessar, mas algo para ser examinado por especialistas, se houver boas razões.

Além das notas de cada curso (IGC), as instituições tem notas (CPC) que vêm sendo baseadas nos indicadores compostos. Ou seja, são as médias dos muitos escores em cada curso de uma instituição. Como estamos propondo eliminar os índices compostos, é lógico que as instituições passem a ser avaliadas apenas pelo ENADE e IDD. Por simetria com esse procedimento, o novo CPC passa a ser calculado pelas médias das pontuações do ENADE em seus diferentes cursos. O mesmo acontecerá com o CPC da instituição que será a média das pontuações por curso. Em ambos os casos, é razoável que seja uma média ponderada pelo tamanho da matrícula em cada curso.

3. Variáveis de processo só devem ser consideradas em segundo plano, apenas para análise técnica dos cursos

Para o MEC e para o público, as variáveis de processo só devem entrar em cena nos casos em que os indicadores sugerem deficiências graves do curso. Em boa medida, não dizem se o curso é bom ou mau. Apenas indicam porque seria bom ou mau. Ou seja, serão usados apenas para diagnosticar por que esse ou aquele curso apresentou resultados inadequados.

Mudanças de procedimentos propostos

1. Participação substantiva do setor privado na definição dos conteúdos das provas do ENADE

Com 75% dos alunos, é razoável supor que o setor privado deveria participar na discussão dos assuntos a serem perguntados nas provas (o que é diferente de formular perguntas, um assunto para profissionais). Não obstante, a prova permanece um quase-monopólio dos professores das públicas.

Isso poderia parecer uma reivindicação política ou corporativa. Mas é muito mais do que isso. As universidades públicas (federais e de, pelo menos, dois estados) têm praticamente todos os seus professores em tempo integral e dedicação exclusiva. Os membros mais destacados - e que acabam em comissões de formulação de provas - tendem a ser pesquisadores. E como bem sabemos pelas publicações, são pesquisadores em áreas pouco aplicadas. Inevitavelmente, estão muito longe do mundo empresarial. D e resto, a legislação do tempo integral e dedicação exclusiva coíbe tais aproximações.

Portanto, há um inevitável viés do ENADE, a favor das perguntas de cunho mais acadêmico e contra as mais voltadas para o mundo do trabalho. A presença do setor privado pode corrigir tais excessos.

É preciso garantir que as provas nas áreas profissionais reflitam as melhores práticas da profissão. Há um problema crônico, descrito há muitos anos por Ronald Dore. É o que ele chamou de "academic drift". Trata-se da tendência interna das instituições para esvaziar as competências profissionais e substituí-las pelo peso das áreas acadêmicas. É sempre necessário impedir que se alastre tal tendência. A participação de profissionais do mercado e de representantes de cursos mais práticos é uma vacina contra tais excessos.

2. Criar matrizes de referência para os conteúdos do ENADE

Tanto o ENADE quanto o Provão jamais utilizaram uma prova formulada de acordo com as melhores práticas na área. Não conhecemos erros óbvios nas provas. Contudo, são formuladas sem uma matriz de competências que permita cobrir de forma sistemática os tópicos mais centrais do perfil profissional correspondente.

Isso é ainda mais importante no caso do cursos de tecnologia. Nesta área, há pouquíssima experiência no Brasil e uma tendência invencível de empurrá-los para um academicismo que contraria sua natureza e mercado. Formular o ENADE dos tecnólogos é complicado, pois é necessário evitar perguntas excessivamente abstratas e teóricas. E, ao mesmo tempo, evitar entrar em campos muito especializados, pois isso tira a flexibilidade dos cursos para se adequarem às particularidades dos mercados que atendem.

3. Permitir a existência de mais de um exame por área de conhecimento.

Um curso de economia voltado para formar pessoas para trabalhar como executivos ou funcionários de pequenas e medias empresas é muito diferente de um curso de economia voltado para formar pesquisadores em micro ou macroeconomia, para carreiras acadêmicas ou para trabalhar no sistema financeiro. No Brasil a grande maioria dos cursos existentes, sobretudo no setor privado, tem o primeiro objetivo, enquanto que um numero mais reduzido de cursos tem o segundo. Parece razoável imaginar que poderiam haver duas matrizes de referencia distintas para os dois tipos de cursos, e que as instituições pudessem optar por uma ou outra, informando devidamente seus alunos. O mesmo vale para cursos tecnológicos e de formação de alto nível nas diferentes áreas de engenharia, por exemplo. É necessário abrir espaço para esta diversificação, com o envolvimento dos diferentes setores interessados.

Imaginamos que tais bifurcações possam ser implementadas mais adiante. Não é imprescindível que sejam imediatamente aplicadas, por criarem trabalho adicional, antes de limpar aspectos mais centrais da prova.

4. Redefinir o indicador de cultura geral, para orientar os estudos na graduação

Nos Estados Unidos e Europa, há pelo menos dois anos de estudos gerais na graduação. Em contraste, no Brasil, os cursos superiores são quase que inteiramente profissionalizantes. Continuamos adotando um modelo francês de mais de meio século atrás e que já foi abandonado na França, faz tempo.

A inclusão de uma prova de cultura geral criaria incentivos para que os cursos superiores aumentassem a sua oferta de cursos introdutórios nas humanidades e ciências, como é feito alhures de forma universal. Essa seria uma maneira inteligente de incentivar tais cursos, sem forçar sua inclusão pela via legal dos nefandos currículos mínimos.

Naturalmente, isso deve ser objeto de uma apreciação cuidadosa. Os conteúdos não devem entrar pela porta dos fundos, pela via da iniciativa dos formuladores de perguntas para as provas. É preciso ser claro na definição dos conteúdos que serão objeto da prova.

Alem disto, os resultados desta avaliação precisam ser considerados em si mesmos, e não devem ser somados de uma ou outra forma com os resultados de avaliações específicas, como ocorre atualmente com o ENADE.

5. Substituir a prova no primeiro ano pelo ENEM para calcular o IDD

Como já sugerido, a existência de um ENEM cada vez mais generalizado substitui, com inúmeras vantagens, a aplicação do ENADE nas turmas iniciais. Na verdade, esse uso da prova de conhecimentos específicos no início dos cursos é conceitualmente problemático. Como pedir a um aluno que responda a um teste que verifica o seu conhecimento de assuntos que ele deverá aprender ao longo dos quatro anos que seguem? Tal prova acaba medindo apenas a argúcia do aluno entrante para eliminar alternativas pouco prováveis e apostar em outras.

Em contraste, em tese, o ENEM captura a capacidade para operações mentais críticas para a vida acadêmica. Em sua nova versão, captura também o domínio de conteúdos centrais no currículo do ensino básico. Portanto, metodologicamente, é muito mais apropriado - em que pesem possíveis deficiências técnicas que possa ter.

A crítica de que não foi ainda universalizado é legítima, mas se aplica apenas a seu uso para a avaliação de escolas de nível médio. De fato, se em algumas escolas, quase todos o fazem, o mesmo não acontece em outras. Isso cria um viés que pode ser grande.

Contudo, no caso da avaliação do ensino superior, os alunos vêm de muitas escolas. Portanto, pequenas distorções na representatividade dessa ou daquela escola média não afetam as pontuações de um curso superior.

O ENEM tem sido objeto de muitas criticas, não só pelos problemas operacionais de sua aplicação, mas também pela sua grande extensão, pela falta de matrizes de competência claras para a diversas formas e conhecimento, e, sobretudo, por exigir que todos os alunos façam o exame completo, criando assim uma exigência de conhecimento enciclopédico que afeta o ensino médio a vai contra a idéia e sua diferenciação. Desde já, no entanto, como o ENEM está dividido em diferentes áreas de conhecimento, diferentes carreiras poderiam tomar como referencia os resultados do ENEM nas diferentes partes de ciências, humanidades e outras.

Ainda há controvérsias técnicas para a estimação do valor adicionado. Mas note-se apenas os seguintes aspectos. (i) Países como França e Inglaterra calculam rotineiramente o valor adicionado. Em alguns casos, dão ampla divulgação aos resultados (por exemplo, no BAC francês). (ii) Os problemas metodológicos afetam igualmente as atuais estimativas do IDD, baseadas na prova do primeiro ano. Se o MEC achou que pode lidar com tais dificuldades na prova aplicada ao primeiro ano, por que não no caso do ENEM?

Portanto, a sugestão é clara: substituir a prova aplicada no primeiro ano pelo ENEM.

6. Enfatizar o caráter comparativo das notas de cada curso

Como não há parâmetros de performance para as provas, não é possível saber se os resultados revelam alunos que sabem pouco ou se a prova foi difícil demais. Alem disso, o uso de notas em valor absoluto convida a comparações espúrias entre diferentes áreas.

O provão se esquivava tais comparações indevidas, ao mostrar claramente que as notas eram dadas pela posição do curso na curva normal. Ganhava "A" quem estava no segmento acima do percentil 88. Mesmo que a imprensa custasse a entender esse valor puramente relativo, dizer que "matemática se saiu pior que serviço social" era um erro claramente sinalizado.

O grande óbice a uma nota que não seja relativa é a inexistência de uma definição oficial e confiável do que seriam os conhecimentos esperados dos graduados de cada curso superior. Sem isso, não se pode nem sequer pensar em criar níveis mínimos aceitáveis ou quaisquer outros qualificativos.

O erro do sistema presente é dar a impressão de que tais critérios existem. Um curso com nota baixa é considerado como ruim, como se houvesse uma métrica oficial estipulando o que os alunos devessem minimamente saber. E se for argüido que tal métrica existe, o remendo fica pior do que o soneto, pois implica que um grupo de formuladores de perguntas, reunidos ad hoc, teria recebido um mandado oficial de estabelecer tais níveis. Isso seria uma inversão de valores, pois não cabe a um grupo como este decidir o que devem e o que não devem minimamente saber os profissionais de cada área.

Vejamos um exemplo extremo do que é uma medida relativa. Tomemos as dez melhores universidades do mundo. Se fôssemos dizer quais as boas e quais as ruins, sairia Harvard como ótima, pois está em primeiro lugar. Mas Berkeley seria considerada como bastante ruim, pois está em nono lugar. Ora, Berkeley é a melhor universidade pública do mundo, pelos mesmos critérios. Como pode ser considerada como ruim? Ou seja, apenas podemos falar de melhor ou pior, jamais boa ou ruim.

Portanto, devemos recuperar a prática muito mais correta de apenas dizer que o curso A é melhor do que o B. De fato, nada mais se pode afirmar.

7. Abandonar indicadores subjetivos e baseados em opinião de alunos

A introdução de indicadores puramente subjetivos na construção do CPC é inexplicável, considerando a sua fragilidade. O que pode dizer um aluno acerca do projeto pedagógico do seu curso? Como pode avaliar a infra-estrutura de sua escola? Comparado com o quê ele poderia fazer um julgamento, considerando que só conhece a sua instituição? E quanto a sua opinião reflete sua vontade de ajudar ou atrapalhar o curso?

O presente documento postula a eliminação de indicadores compostos, mas admite que variáveis de processo possam ser subsidiariamente usadas para entender o funcionamento das instituições. Não obstante, não vemos quaisquer razões para continuar a coletar e divulgar opiniões de alunos.

Opiniões de alunos podem servir como diagnósticos internos de instituições que queiram avaliar o seu funcionamento. Mas isso não é assunto do Ministério da Educação.

8. Criar um indicador de qualidade docente, incluindo titulação e experiência profissional

Talvez simplificando um pouco, podemos pensar que um curso profissionalizante tem dois tipos de disciplinas. De um lado, as teóricas, de base ou de formação geral. De outro, as disciplinas que ensinam a profissão.

Propomos a criação de dois indicadores. Um deles volta-se para os diplomas e se aplica à categoria das disciplinas acadêmicas, bem nos moldes do que hoje se faz.

Alem disso, seria criado um indicador de experiência profissional, que considerasse a proximidade entre o trabalho exercido e o conteúdo da disciplina profissionalizante. Ganharia mais pontos quem tem docentes em trabalhos mais complexos e próximos da disciplina ensinada. Em um curso de metalurgia, ser chefe dos altos-fornos conta mais do que ser chefe de turno.

Não se exclui a possibilidade de dar um tratamento diferenciado para cursos que estão no limite entre o teórico e o aplicado. Por exemplo, tais cursos seriam pontuados em ambos os indicadores.

A presente proposta vai mais longe. Para ambos os indicadores, entraria também a experiência profissional. São os anos de magistério e pesquisa para os acadêmicos e os anos de experiência de trabalho para os profissionais.

Portanto, teríamos dois índices separados. Nas disciplinas teóricas, não conta tempo de fábrica. E nas profissionais, não contam os diplomas. Se vamos combinar os dois indicadores em um não importa muito.

Mas coerente com o dito anteriormente, esses indicadores não seriam considerados na nota da instituição, já que esta passaria a ser apenas o ENADE e o IDD.

9. Simplificar os procedimentos de avaliação em loco

Criação de novos indicadores, apenas para universidades

As universidades têm papeis que as Faculdades e Centros universitários não têm. Mais do que óbvios são a pesquisa e a pós-graduação. Em vista disso, propomos a criação de dois indicadores, para dar visibilidade a duas dimensões hoje esquecidas.

Não são indicadores para complementar o ENADE, pois já externamos nossa preferência pelos dois indicadores simples. Mas nas autorizações, reconhecimento, renovação do reconhecimento e no monitoramento que o MEC possa fazer, são peças importantes.

1. Criar um indicador de pesquisas publicadas na graduação

Hoje, as publicações de uma universidade são o somatório do que produzem os seus mestrados e doutorados. Como isso é feito pela CAPES, não é incluída a pesquisa feita pelos professores que atuam apenas na graduação.

Ora, isso é um erro grave, pois sugere que, para o MEC, a pós-graduação stricto sensu é o único caminho para a pesquisa. Cursos e programas que não têm o interesse ou a massa crítica para criar mestrados perdem toda a motivação para que seus professores com vocação para a pesquisa pudessem realizá-las. Isso não está proibido, mas não há qualquer incentivo para que isso aconteça, a começar pela inexistência de formas de reconhecer e quantificar os resultados desse esforço.

Aqui propomos a criação de um indicador para as pesquisas publicadas pelos professores que não estão vinculados à pós-graduação stricto sensu. As formas de fazê-lo já existem para os mestrados e doutorados. Basta que sejam aplicadas também aos programas de graduação.

2. Criar um indicador de internacionalização

Quando examinamos a posição das universidades brasileiras nas avaliações inglesas ou chinesas, notamos logo a sua posição subalterna. Enquanto há 4 chinesas nas primeiras duzentas, em algumas avaliações, não há sequer uma brasileira. Por que será?

Não nos faltam doutores ou volume de publicações. Mas falta internacionalização. A principal razão de nossa ausência nessas primeiras colocações é o isolamento internacional de nossas universidades.

Há poucos professores brasileiros no exterior, poucos estrangeiros nos visitando e ensinando. O mesmo com alunos estrangeiros e brasileiros, trocando de país por um certo período. Há poucas publicações de autoria conjunta com estrangeiros. Não há cursos oferecidos em inglês, o que hoje se tornou corriqueiro na Europa e na China.

Propomos que se crie um índice de internacionalização das nossas universidades. Deverá ser calcado nas fórmulas que utilizam as avaliações internacionais mais conhecidas, mas podendo incluir outros indicadores que pareçam apropriados. Tal indicador porá em evidência os esforços de internacionalização de cada universidade, que até hoje não são valorizados dentro do MEC.

Medidas de médio ou Longo Prazo

Nos parágrafos acima, propusemos mudanças a serem implementadas no curto prazo. Contudo, há outras, não menos importantes, mas que requerem maior tempo de gestação. Abaixo, listamos tais alterações.

1. Criar agência independente para avaliar (semelhante às da ISO/ABNT)

Os embaraços recentes com o ENEM e as peripécias na avaliação do ensino superior sugerem que pode ser uma boa ideia isolar as agências de avaliação dos humores e das limitações administrativas do governo central.

As dificuldades de fazer licitações para projetos de grande vulto e com fortes dificuldades técnicas já afloraram, no caso citado do ENEM. Não obstante, as dificuldades de realizar tais projetos sem licitação colidem com as práticas dos tribunais de contas. Uma solução alternativa, que seria entregar a uma universidade pública a responsabilidade realizar estas avaliações, não contaria com a confiança do setor privado, nem da sociedade.

Diante desse impasse, uma solução interessante é a criação de agências independentes de certificação, nos moldes daquelas que atestam conformidade às normas ISO/ABNT. Essa é uma área em que o Brasil fez grandes progressos, sendo um dos países do Terceiro Mundo com mais empresas certificadas nas Normas ISO 9000, 9001 e 14000. Aliás, já há até uma norma ISO 9000 para a Educação. De resto, é isso que fazem países como Chile e México para o ensino superior.

Na área industrial e de serviços, essas certificações vêm sendo feitas com lisura por empresas especializadas e credenciadas pelo INMETRO. Até o momento, não há notícia de acidentes de percurso com elas.

Esse precedente sugere que as mesmas regras de credenciamento de agências certificadoras ISO possam ser adotadas para empresas que avaliem a qualidade da educação (não se confunda aqui certificação com avaliação). Ou seja, o trabalho hoje realizado pelo INEP e por instituições terceirizadas pode ser parcialmente transferido para agências privadas, independentes e credenciadas para tal.

Não se está propondo que tais agências decidam o que e como avaliar. De fato, tudo o que foi dito no presente documento não cai por terra. O assunto de como avaliar continua sendo um assunto de Estado. Mas a execução da avaliação pode passar a ser feita por uma agência independente e credenciada por critérios rígidos. A vantagem é que a experiência de credenciamento de certificadores já é bastante longa e sem acidentes na sua implementação. A grande segurança resulta do fato de que as agências certificadas têm como único capital a confiança que merecem, de todos os lados.

2. Incluir na avaliação um índice de empregabilidade de egressos

Grande parte dos graduados do ensino superior se dirige a um mercado de trabalho em empresas e fábricas. É para tal mercado que deve se voltar o esforço de preparação desse ensino. Portanto, a prova dos nove do êxito de tal empreitada deve ser o próprio mercado de trabalho.

O caso dos cursos tecnológicos merece uma atenção especial e mais imediata. Ao contrário do bacharelado que, cada vez mais, torna-se uma formação geral, o tecnológico está diretamente voltado para os empregos que existem e tem um perfil bem definido. Seu êxito consiste em preparar mão de obra pronta para eles. Mas fracassa se os graduados não acham empregos para fazer aquilo que aprenderam. Por esta razão, o ajuste fino dos tecnológicos ao mercado é muito mais crítico.

Daí que deveremos criar indicadores do sucesso dos cursos através de levantamentos do que fazem os seus graduados. Algumas poucas instituições, como a USP, já realizaram pesquisas desse tipo. A CAPES já fez isso no passado, mesmo para a graduação. Houve substancial esforço do IBGE para aperfeiçoar mecanismos que permitem uma sistematização de pesquisas de mercado de trabalho.

Portanto, o país está maduro para avançar na criação de mecanismos que realizem tais pesquisas. Alem do que se fez no Brasil, há modelos no exterior. O exemplo mais conhecido é o Cooperative Institutional Research Program, criado e por muitos anos dirigido por Alexander Astin, professor da UCLA. Esse programa acompanhou doze milhões de estudantes. De momento, não é claro se tal seguimento deveria ser feito pela própria instituição, por um órgão do governo ou terceirizada a uma agência especializada em tais pesquisas.

Alguns teriam objeções de que tal direção nos levaria a valorizar uma profissionalização rasa e puramente operacional. A formação de base seria sacrificada por currículos imediatistas. Quer nos parecer que esse não é o caso. As múltiplas entrevistas com empresas e seus departamentos de recursos humanos mostram sempre indicações de que necessitam pessoas com ampla base cultural e competências genéricas.

Ademais, a grande mobilidade ocupacional dentro das empresas mostra que , no médio prazo, o que conta é a capacidade dos graduados para se ajustar rapidamente a novos papeis. Ou seja, as empresas sempre mostraram preferência por uma formação que favoreça a essa circulação interna, o que se reflete em mecanismos de contratação que até ignoram o nome do diploma.

A pesquisa feita por Roberto Macedo, junto às empresas da ABINEE, mostrou que poucos profissionais estão exercendo a profissão para a qual foram preparados.

Portanto, não parece que o uso de indicadores de empregabilidade nos leve a perfis profissionais mais especializados. Pelo contrário, o oposto parece ser o caso.

3. Criar indicador de qualidade da sala de aula

No fundo, pelo menos, 95% por cento dos programas de ensino superior estão voltados apenas para a preparação para o mercado de trabalho. Portanto, é nas salas de aula que isso acontece. Daí a importância de que se criem indicadores da excelência do ensino que ocorre nas salas de aula.

Não acreditamos que hoje estejamos prontos para propor alguma coisa concreta nessa direção. Os desafios metodológicos ainda não foram superados. Mas é preciso iniciar a caminhada.

Podemos pensar em formas de capturar alguma coisa desse processo, seja assistindo aulas, revisando questões de prova ou os trabalhos pedidos. Mas isso não é algo para o curto prazo.

4. Manter a política de não avaliar o lato sensu, mas valorizar a certificação ISO 9000

A CAPES repete a sua posição de que não está em condições de avaliar a multidão de programas lato sensu hoje oferecidos no país. Não nos cabe duvidar de tal afirmativa. Provavelmente, está correta.

Isso não significa que deva haver uma paralisia nos esforços de avaliação. Uma linha promissora pode ser a certificação ISO 9000 na modalidade Educação. De fato, esta alternativa já foi oficialmente aprovada nas normas ISO.

Nossa proposta aqui é estimular as instituições de ensino a que certifiquem seus curso lato sensu na ISO 9000. O MEC, simplesmente, endossaria todos os cursos certificados por essa norma.

Alterações nos procedimentos de autorização e Credenciamento

Hoje o MEC trabalha com instrumentos distintos para credenciamento de IES e renovação do credenciamento. No âmbito dos cursos, há instrumentos distintos para autorização, reconhecimento e renovação de reconhecimento. Além disso, são diferentes os instrumentos de bacharelados e de tecnológicos. Medicina e Direito, por sua vez, têm seus instrumentos próprios. À essa diversidade, somam-se os instrumentos para educação a distância, incluindo os pólos.

Ao todo são mais de 20 tipos de instrumentos, construídos de forma independente, sem consistência entre eles. Alguns instrumentos trabalham com 3 dimensões, outros com 10. Há diferentes critérios entre eles, sem justificativa técnica para essa diversidade. Por exemplo, as exigências de regime de trabalho são maiores em cursos tecnológicos do que em cursos de Direito. O atendimento às Diretrizes Curriculares é exigido no reconhecimento dos cursos, mas não na sua renovação.

Também é preciso revisar a obrigatoriedade de determinados indicadores. Aos "requisitos legais" foram adicionados os chamados "indicadores imprescindíveis", substituídos em alguns instrumentos por "indicadores de destaque". Tais designações carecem de melhor formalização do seu significado e, sobretudo, de sua base legal. Assim, penalizar uma faculdade por não possuir iniciação científica é exigir que ela faça algo que não está necessariamente em seu objetivos, ademais de ir além do que determina a lei.

É preciso que se faça uma revisão nesses instrumentos, constituindo uma lista simples de pontos que precisam ser atendidos pelas IES. Esse é o papel da regulação. Para tanto, os pontos devem ser do tipo "atende" ou "não atende", não devem ser pontuados com notas.

O fundamental nessa revisão é que representantes das IES privadas, que convivem diariamente com os mesmos, tenham efetiva participação na operacionalização dos grandes princípios. É lamentável a iniciativa recente do MEC de criar um grupo de estudo para revisar tais instrumentos sem contar com um único membro sequer do setor privado.

Ao longo do tempo, os procedimentos de autorização dos cursos se tornou frondoso e modorrento. Atrasa mais os trâmites a complexidade burocrática do que as exigências substantivas. A presente gestão do MEC não criou novos obstáculos, mas congelou velhas exigências, descabidas então e descabidas hoje. Mas a bem da verdade, houve recentemente alguns avanços nos processos internos de tramitação dos pedidos.

O credenciamento subseqüente das instituições que já foram autorizadas a funcionar encontra-se igualmente cheio de arapucas. Na maioria das vezes, mais refletem procedimentos burocráticos e administrativos do que exigências que incidem sobre a qualidade.

Abaixo, propomos algumas revisões nos procedimentos adotados.

1. MEC continua a estabelecer parâmetros mínimos para a operação

É razoável que existam exigências para que a instituição seja autorizada a funcionar, de outra forma, abusos poderiam deixar os alunos inadequadamente atendidos. Não estaríamos aqui propondo a sua eliminação.

Contudo, devem ser regras simples, colimando apenas aqueles aspectos que afetam a qualidade do ensino oferecido. Têm a ver com o perfil dos professores, os planos de estudo, cargas horárias, bibliotecas, laboratórios e parque de computadores.

2. Reduzir documentação irrelevante

O MEC é pródigo em regras e exigências de todos os tipos, incluindo muita documentação que gera trabalho para a sua preparação, mas que não atesta nada que possa interessar para estabelecer a idoneidade da instituição e a qualidade do ensino.

Nunca é tarde para aprender que papelada e realidade costumam estar muito distantes. Portanto, adianta pouco exigir papeis, certificados, planos, projetos, estratégias e outras construções literárias pomposas.

Atualmente, os manuais do MEC requerem que se satisfaçam exigências em uma agenda que cobre trinta itens. Obviamente, muitas dessas exigências são descabidas ou irrelevantes. Por exemplo, de que vale saber se o proprietário do prédio alugado pela Faculdade pagou todos os seus impostos?

Há também preocupações legítimas, mas que se operacionalizam em instrumentos impotentes. Por exemplo, hoje se requer um termo pelo qual os futuros professores se comprometem a lecionar no curso. Durante as visitas, alguns avaliadores exigem até entrevistas com os professores, para perguntar pessoalmente se vão mesmo dar aula. Um ano mais adiante, depois de autorizado o curso, serão realmente esses os professores em sala de aula? Sabemos das alterações inevitáveis e também dos abusos. Faz muito mais sentido fornecer uma lista de professores que deverão ser contratados, ficando explícito que todas as substituições serão por outros cujas qualificações (diplomação e experiência) não podem ser inferiores.

O Projeto de Curso se transformou em uma commodity, objeto de compra e venda. Quando foi lançado, para substituir os enormes processos de abertura de cursos, o requisito de que as instituições tivessem um projeto pedagógico foi saudado como um grande avanço. Não obstante, tornou-se uma mercadoria. Não são vendidos em super-mercados, mas as consultoras já os têm prontos. Os visitadores mais experientes rapidamente identificam sua procedência, sem que esteja formalmente revelada.

Portanto, perderam sua capacidade para discriminar quem é sério e quem não é. Uma instituição muito caprichosa pode se esmerar para produzir algo ligeiramente melhor. E instituições do interior podem não ter acesso às empresas do ramo e apresentar projetos muito rudimentares. Mas ao frigir dos ovos, estas propostas quase nada dizem sobre o que vai acontecer nas salas de aula. Portanto, quase nada ajudam para separar o joio do trigo.

Daí os ganhos em simplificar drasticamente essa peça literária. O que é preciso é descrever de forma simples e objetiva como vai ser o curso, que disciplinas pretende oferecer e qual o perfil de profissional que pretende preparar, para qual mercado. É preciso registrar que, nesse campo, houve avanços recentes.

É mister que o MEC defina metas realísticas para cada categoria de instituições. O primeiro escolho no caminho é a pesquisa. Ainda vivemos sob a mantra da "indissociabilidade do ensino e da pesquisa", sem que seja possível explicitar o que isso significa. Quem faz pesquisa? Aluno? Professor? Quanto de pesquisa é preciso para atender à "indissociabilidade? As comissões de avaliação freqüentemente reclamam que as faculdades não têm pesquisa, criando mal estar e insegurança nas mais ingênuas. Na verdade, como somente dez universidades no Brasil produzem pesquisa de forma intensa e sistemática (uma publicação por professor, por ano), é estapafúrdio querer que faculdades isoladas o façam. É preciso eliminar o alto nível de ruído na área, bem como o cinismo dos mais calejados. Deve ficar claro que pesquisa na graduação não é uma expectativa do MEC, portanto, não poderá ser um óbice para a autorização.

Por outro lado, é preciso entender que as pesquisas feitas pelos alunos são a forma correta e consagrada de entender e aprender a usar o método científico. Como se trata de um dos maiores avanços da civilização ocidental, transmitir essa competência deve ser um objetivo central do ensino superior. Daí a importância de exigir que a instituição tenha metas e métodos para que os alunos façam pesquisa, com boa freqüência. Obviamente, falamos de pesquisa de aluno. Raramente é para ser publicada, pois seu objetivo não é avançar a fronteira do conhecimento.

E há a sala de aula. Esse é o elemento da maior importância e o mais abandonado. Tradicionalmente, não há qualquer valorização para a qualidade docente. Talvez o mais interessante elemento do projeto pedagógico seja a proposta do que fazer para melhorar a sala de aula. Obviamente, nada disso vai aparecer no projeto pedagógico, se o MEC não sinalizar claramente que deseja ver planos e novas idéias explicitadas.

Finalmente, há o perfil do profissional que se pretende formar. Quais as tarefas para as quais será preparado? Qual o nexo entre o currículo e o que se imagina que vai fazer depois de formado? Qual a chance de permanecer em uma ocupação próxima do diploma? Se há forte probabilidade de um distanciamento, como preparar os graduados para enfrentar mudanças? Além disso, como o curso pretende ficar sabendo acerca do destino profissional dos seus graduados?

Cabe ao MEC dizer se o oferecido atinge os limiares estipulados por lei. Se atingem, acaba aí o assunto, não há nota na peça literária apresentada. Ou seja, se o curso atende às exigências, é autorizado, mas não há notas.

3. Contrato de Adesão definindo o que será oferecido aos alunos

O cerne do processo de autorização aqui proposto é a ideia de um Contrato de Adesão entre as partes - no caso, a instituição de ensino, o MEC e os alunos. É da natureza desse instrumento jurídico que o ofertante do serviço deva descrevê-lo nas suas características essenciais, incluindo todos os detalhes que possam ser objeto de disputa entre partes. Até certo ponto, esse contrato já existe. Mas é insuficiente para o que estamos propondo. Queremos insistir, trata-se de um verdadeiro contrato, não uma metáfora.

Como em qualquer contrato de adesão, quem oferece o serviço descreve exatamente o que decidiu oferecer. Cabe apenas aos clientes decidir se aceitam o "pacote", tal como oferecido. Obviamente, o curso tem que oferecer minimamente o que manda a lei. No caso de uma empresa de ônibus, os veículos devem estar limpos, mecanicamente revisados e atender às normas de emissão de gases poluentes. Mas embora não seja exigido por lei ter ar condicionado, um contrato bem feito deve especificar se os ônibus os têm ou não. Se o contrato reza que têm, isso torna o transporte mais atraente. Mas se está no contrato, os clientes têm o direito de exigir.

No caso de uma Faculdade, os professores devem ter minimamente o perfil acadêmico exigido pelo MEC. Muitas outras exigências devem ser atendidas. Mas há também as múltiplas características do curso e dos métodos de ensino, escolhidas pelo mantenedor. Ademais, há uma infinidade de confortos e facilidades que custam caro. O responsável pela instituição decide o que quer oferecer - piscina, estacionamento, quadra coberta? Mas se constam do contrato de adesão, tais ofertas tornam-se um direito líquido dos alunos.

Se a proposta se plasma em um contrato de adesão claro, abrangente e específico no que importa, esse instrumento é o pivô de todos os entendimentos iniciais com o MEC e, mais adiante, com os alunos.

Cabe ao mantenedor preparar seu contrato. Lá se materializam todas as opções críticas tomadas no planejamento dos cursos. Qual a proporção de professores com doutorado, com mestrado etc.? Qual o máximo de alunos por sala? Quais os horários? Que proporção de salas tem canhões de projeção?

E também, há as decisões sobre os confortos materiais oferecidos para os alunos. Se oferecer o mínimo exigido pelo MEC, pode tornar-se pouco atrativo para os alunos. Se oferecer demais, será caro demais ou difícil cumprir. É preciso esclarecer quanto vai cobrar e que regras serão adotadas para eventuais reajustes ou mudanças intempestivas.

Com uma redação que não seja suficientemente clara, o operador do curso perderá tempo, pois não será aprovado pelo MEC na primeira instância. Portanto, ele será o primeiro interessado em definir com clareza o que pretende oferecer. Um dos critérios de aceitação do contrato, além de atingir o cumprimento da norma legal, é a transparência com que postula o que está oferecendo. Se a redação do contrato sugere que uma visita do MEC pode não permitir uma decisão fácil sobre o seu cumprimento, é porque está vago. Se uma corte de justiça não puder determinar facilmente se os alunos estão recebendo o que foi prometido, igualmente, está mal formulado.

A lógica do contrato é traduzir o prometido em termos que sejam suficientemente claros e explícitos, de forma que fique fácil estabelecer se foi cumprido ou não. Isso se aplica tanto às normas acadêmicas quanto ao resto.

4. Se contrato respeitar os parâmetros e for preciso e explícito no que oferece ao aluno, o curso começa a funcionar e só será visitado mais adiante

Uma modificação essencial contida na presente proposta está na definição do momento da visita associada à autorização de abertura de curso. Deixa de haver uma visita prévia à autorização. O MEC recebe o projeto e examina toda a papelada. Se estiver conforme a legislação e, deixando meridianamente claro o que o curso está o ou não oferecendo, a proposta será aprovada. Se isso acontecer, fica o curso autorizado a começar. Mais adiante, o MEC envia a comissão de avaliadores. Se esta visita revelar que não está conforme, o curso é interrompido.

Ao aprovar a proposta constante no contrato de adesão, o MEC está dizendo que autoriza a funcionar um curso que corresponde ao que foi estipulado no contrato. Com isso, o curso está autorizado a fazer o vestibular e operar. Se o mundo real se revelar igual àquilo que está no papel, nihl obstat. Não há problemas. Se for diferente e menos do que o exigido, terá descumprido um contrato que assinou e estará sujeito as penalidades legais.

Para o exame da papelada,o MEC disporá de um prazo máximo de três meses. Se não for capaz de proceder à perícia nesse tempo, estará sujeito a sanções legais.

O próximo passo é a visita. Quanto menos garantias de cumprir as promessas tiver o curso, mais urgente se torna a visita. Será prontamente visitado um curso oferecido por uma mantenedora nova que não opera outros cursos, ou cujos outros cursos obtiveram notas baixas no ENADE. Em contraste, não há pressa para uma outra instituição, cujos outros cursos têm ótimo desempenho. Poderão esperar o que for necessário para desobstruir a agenda dos visitadores, comprometida com outros cursos mais problemáticos. E acima de certa nota nos outros cursos, o MEC poderá optar por não realizar a visita.

Se o contrato de adesão for bem feito, é fácil verificar se está sendo cumprido. Os laboratórios correspondem ao que foi descrito? Os professores têm, pelo menos, a mesma excelência que prometia o contrato? O curso flui suavemente, com uma logística correta?

Note-se que isso é muito diferente da visita antes do curso. Na verdade, essa visita é quase inútil, pois não há muito para ver que tenha relação com a qualidade do ensino prometida. Construção civil pode ser cara, mas não se correlaciona com qualidade. Acaba sendo uma viagem para examinar papeis. Se é assim, por que sair de Brasília ou donde quer que seja? É mais fácil levar os papeis (ou arquivos eletrônicos) do que os avaliadores.

Uma vez funcionando o curso, é o mundo real que estará sendo posto à prova. A visita desnudará a verdade. Não há contratos fictícios, mas professores entrando e saindo com livros de chamada. Quem são? Que qualificações têm? Tampouco pode haver bibliotecas ou laboratórios alugados, pois a data da visita é imprevisível.

No papel não há confusão, desorganização, fluxos travados na burocracia interna. No mundo real, pode ser tudo diferente e a visita vai mostrar.

Antes de começar a funcionar, não há alunos com espírito de porco, mostrando os flancos vulneráveis da instituição. Não há provas e exercícios, onde se revela a competência de professores e alunos.

Na visita após a autorização, tudo que foi prometido está lá para ser visto. E as deficiências serão reais e não imaginárias.

Se o curso não cumprir o contrato de adesão, deverá devolver as mensalidades pagas e ficar com o ônus de colocar os alunos em cursos equivalentes. Somente após mostrar soluções para os problemas encontrados é que poderá pleitear um novo vestibular.

Condições tão draconianas poderiam ser consideradas inaceitáveis para os mantenedores. Mas lembremo-nos de que foi o próprio mantenedor quem descreveu o que pretendia oferecer no curso. Se não logrou cumpri-lo, rompeu um contrato que ele próprio propôs, achando que poderia cumprir.

Haveria algum risco adicional em postergar a visita? É crença dos presentes autores que não. A visita presente se dá em um momento que não há quase nada para ver. Depois, quando as coisas acontecem, não há mais visita. O que propomos é o exame do projeto em Brasília e a visita depois que começar a funcionar o curso. Nesse momento, ficará claro se cumpre ou não o prometido.

5. De acordo com o desempenho de outros cursos da mesma instituição, a visita será imediata ou não

O MEC se vê assoberbado com pedidos de visitas. Segundo a nossa proposta, o intervalo entre autorização e visita deve depender das notas da mantenedora em outros cursos que ofereça. No caso de instituições bem avaliadas, não há pressa. No caso de novas instituições ou de desempenho medíocre nos outros cursos, a visita deve ser imediata, de forma a não permitir que desvios se prolonguem. Há portanto vantagens em precipitar uma solução, se o risco é considerável.

6. Alunos assinam contrato de adesão e tem acesso a ombudsman, caso não seja respeitado

O contrato de adesão aqui proposto é entre três partes. Mencionamos o MEC e a mantenedora. Falta mencionar que os alunos que devem também assinar o contrato, mostrando que tomaram conhecimento do seu conteúdo e que estão de acordo.

Isso é muito importante, pois os alunos são a primeira linha de frente da regulação e controle. São eles os primeiros a conviver com uma escola que não cumpre o prometido - ou confirmar que cumpre.

Portanto, para complementar o monitoramento, o MEC criaria um sistema de ombudsman a quem recorreriam alunos e professores descontentes. Tal como existem em algumas empresas e governos, os ombudsman são independentes. Os interessados se dirigem a eles com total confiança de confidencialidade. São os próprios ombudsman que decidem o que fazer em cada caso. Estabelecer contato com a instituição? Levar o caso para o MEC? Ignorar a reclamação, por ser leviana ou desonesta? Nesse sentido, o ombudsman protege a instituição de chantagem ou picuinhas por parte de alunos ou professores, pois só leva ao MEC reclamações críveis. O ombusdmandeve ser uma pessoa sênior, com passado de lidar com problemas humanos e funcionais. Para exemplificar, poderia ser um juiz aposentado.

7. Penalização severa para quem não cumprir o prometido

O sistema proposto facilita a vida daquelas instituições que cumprem o prometido. Contudo, deixam muito vulneráveis aquelas que prometeram e não foram capazes ou não quiseram materializar as promessas.

Dadas as exigências de clara especificação do que está sendo proposto aos alunos no contrato de adesão, fica difícil para a instituição esquivar-se da responsabilidade. Em seu benefício, não há como os alunos cobrarem o que não foi explicitamente prometido no contrato. Como contrapartida pela simplificação e flexibilização do sistema, as punições para o não cumprimento deverão ser severas.

8. Credenciamento vai se basear no cumprimento do contrato ou sua renegociação

Hoje, o credenciamento é um rito de pouco significado. As visitas iniciais deixam exigências, algumas descabidas, outras legítimas. Mas embora existam os registros, raramente os avaliadores tomam conhecimento do que havia sido sugerido ou exigido. O que costuma ser proposto no projeto inicialmente apresentado é vago e pouco elucidativo no que realmente interessa. Para o bem e para o mal, as comissões de credenciamento não costuma consultar os pareceres anteriores e nem sabem o que foi proposto ou prometido durante a visita.

Segundo a nossa proposta, o credenciamento seria a confirmação de que o contrato de adesão está sendo cumprido. Esse é um documento público e visível a todos. Portanto, uma base sólida para o credenciamento.

9. Aprofundar as políticas de liberalizar abertura de cursos, de acordo com as médias do ENADE da instituição

O MEC iniciou uma política de dispensar a visita de autorização para instituições que tenham bom desempenho. Trata-se de uma excelente idéia que deveria ser aprofundada.

ANEXO - Itens específicos das atuais normas que necessitam ser revistos

A lista abaixo, não exaustiva, identifica uma série de normas especificas hoje vigentes nos instrumentos regulatórios e de avaliação, que as instituições do setor privado consideram que precisam ser alternadas:

1. Retirar da Portaria Normativa 10 (02/07/2009) os artigos que permitem o arquivamento sumário de pedidos de credenciamento/autorização, sem visita de comissões. A IES deve ter sempre o direito de submeter suas pretensões à uma análise justa e imparcial de uma comissão independente. São esses os artigos que devem ser suprimidos:

Art. 5o Na hipótese de CI e IGC inferiores a 3 (três), cumulativamente, a autorização de cursos poderá ser indeferida independentemente de visita de avaliação in loco.

Art. 8o O art. 11 da Portaria Normativa No- 40, de 12 de dezembro de 2007, passa a vigorar acrescido dos §§ 5o e 6o, com a seguinte redação:

"§ 5o A reduzida proporção de cursos reconhecidos em relação aos cursos autorizados e solicitados é fundamento suficiente para o arquivamento do processo.

§ 6 o A ocorrência de conceito da avaliação institucional externa - CI ou Índice Geral de Cursos - IGC menor que 3, em conjunto com a análise documental, poderá prover a SEED de elementos suficientes à formação de juízo sobre a ausência de condições para credenciamento institucional para a modalidade de EAD e de credenciamento de novos pólos de apoio presencial, ante as insuficiências já indicadas em relação à oferta de educação presencial, podendo constituir, justificadamente, motivação suficiente para o arquivamento dos pedidos respectivos, pela SEED, independentemente de realização de visita de avaliação in loco pelo INEP".

2. Alterar a Resolução Conaes 01 (17/06/2010), que trata da composição do NDE, permitindo que cursos com poucos docentes (por exemplo, certos tecnológicos) tenham uma composição mais razoável.

Proposta:

Onde se lê:

Art. 3o. Item I - ser constituído por um mínimo de 5 professores pertencentes ao corpo docente do curso.

Passa a ser

Art. 3o. Item I - ser constituído por um mínimo de 30% ou 5 professores pertencentes ao corpo docente do curso.

3. Alterar o Parecer CNE/CES 107 (07/05/2010), permitindo que as universidades comprovem a existência de produção intelectual institucionalizada (como prevê a LDB) também pela realização sistemática de pesquisas. Ou seja, as universidades caracterizariam o seu status de instituição de pesquisa pela presença de programas stricto sensu e/ou pela comprovação de realização sistemática de pesquisas através de suas publicações e outros elementos previstos, nos moldes do item b do Art. 2o. da Resolução CNE/CES 2 (07/04/1998).

4. Adaptar os instrumentos de avaliação do INEP, no que se refere à titulação do corpo docente, de forma a considerar satisfatório (nota 3) o que está previsto no Art. 52 da Lei 9.394/1996 (LDB), ou seja, para universidades, 1/3 de mestres e doutores. Para centros universitários e faculdades, usar níveis diferentes, ou seja, não podem ser avaliadas pelos mesmos critérios das universidades.

Para tanto, alterar os seguintes pontos:

Item 5.2 do instrumento para fins de recredenciamento institucional

Item 2.7 do instrumento para fins de reconhecimento de cursos bacharelados e licenciaturas

Item 2.2.1 do instrumento para fins de reconhecimento de cursos tecnológicos

Item 2.3 do instrumento para fins de renovação do reconhecimento dos cursos de graduação

5. Adaptar os instrumentos de avaliação do INEP, no que se refere ao regime de trabalho do corpo docente, de forma a considerar satisfatório (nota 3) o que está previsto no Art. 52 da Lei 9.394/1996 (LDB) e no Art.1° do Decreto 5.786/2006, ou seja, 1/3 em tempo integral para universidade e 1/5 para centros universitários. Para faculdades, usar níveis diferentes, ou seja, não podem ser avaliadas pelos mesmos critérios das universidades e centros universitários.

Para tanto, alterar os seguintes pontos:

Item 2.8 do instrumento para fins de reconhecimento de cursos bacharelados e licenciaturas

Item 2.2.2 do instrumento para fins de reconhecimento de cursos tecnológicos

Item 2.3 do instrumento para fins de renovação do reconhecimento dos cursos de graduação

6. Não empregar para centros universitários e, especialmente, para faculdades o critério de produção científica, já que tais instituições, por lei, não são obrigadas a tê-la.

Para tanto, alterar os seguintes pontos:

Item 2.13 do instrumento para fins de reconhecimento de cursos bacharelados e licenciaturas

Item 2.3.4 do instrumento para fins de reconhecimento de cursos tecnológicos

Item 2.4 do instrumento para fins de renovação do reconhecimento dos cursos de graduação

[1] José Francisco Soares e Claudio de Moura Castro

[2] Parkinson's Law (Boston: Houghton Mifflin, 1957), capítulo 6

3. A.W. Astin, What Matters in College: Four Critical Years Revisited. San Francisco, Jossey-Bass, 1993

[4] Donald Schoen, The Reflective Practitioner (London: Temple Smith, 1983)