Análise, comentários e propostas para os novos instrumentos de avaliação de curso

São Paulo, 28 de junho de 2011

Ref.: Análise, comentários e propostas para os novos instrumentos de avaliação de curso.

Para

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP

Comissão Nacional de Avaliação da Educação Superior - CONAES

Ministério da Educação - MEC

1. Reflexões iniciais

Antes de mais nada, o Fórum das Entidades Representativas do Ensino Superior queria deixar registrado que não aprova a forma como foram conduzidas as reformulações dos instrumentos de avaliação, já que não houve, na comissão nomeada pela Portaria INEP 386/2010, a presença de representantes das entidades setor privado. Ainda que façam parte da referida comissão pessoas que já exerceram atividades no setor privado, isso não legitima a presença do Fórum ou de suas entidades, posto que o esperado era a formal participação de membros de um segmento que reúne 75% do total de matrículas da Educação Superior. Da mesma forma, mesmo que a audiência pública ora em curso procure tornar democrática a construção dos novos instrumentos, o cerne dos mesmos já está pronto, resta pouca margem para mudanças.

Apesar disso, o Fórum não se furta a participar do diálogo, posto que acredita na vontade das pessoas para que seus pleitos sejam atendidos, ao menos em parte. Afinal, seria emblemático o setor não ter direito de participar da comissão encarregada de reformular os instrumentos e, uma vez ouvida seus pleitos, nenhum ser atendido. Entramos, assim, nessa audiência, na confiança de que exista um genuíno desejo de ouvir para melhorar.

Isso posto, cabe-nos destacar dois conceitos fundamentais que embasam uma série de reivindicações que serão apresentadas a seguir: (i) avaliação e regulação precisam ser separadas, (ii) é necessária base científica para a escolha dos indicadores e seus critérios.

(i) Avaliação e regulação precisam ser separadas

Tornou-se corrente argumentar que a "avaliação induz a qualidade". Ou seja,  pelo princípio da "indução", ao tornar mais rígidos determinados indicadores, as instituições seriam estimuladas a se adaptar e, com isso, o padrão geral de qualidade aumentaria. Acontece, porém, que os mesmos instrumentos do processo de avaliação são usados também para a regulação. Assim, o que era para ser um "estímulo" torna-se um "requisito", o que era uma "indução", torna- se uma "coação". Com isso, determinados indicadores passam a exigir padrões muito acima do que existe no marco regulatório e as instituições que não os atendem são passíveis de punições como suspensão do FIES, bloqueio de vagas e arquivamento de processos de autorização de curso.

Agrava essa condição o fato de ser um manual único para faculdades, centros universitários e universidades. Ora, se a regulação determina requisitos diferentes para esses tipos institucionais, um manual único privilegia as universidades, em detrimento das faculdades. Sua indução, assim, aponta para um padrão único ao redor do modelo das universidades de pesquisa, na contramão da necessária política de construção de um sistema eclético, em que cada tipo de instituição desempenha um papel diferente.

Dessa forma, a coexistência incestuosa dos processos de avaliação e de regulação torna impossível aceitar o argumento da avaliação como processo de indução. Sob a ótica da avaliação, pode parecer aceitável exigir parâmetros acima do que determina a legislação, mas sob a ótica da regulação é perverso e arbitrário.

Em outras palavras, não há nada errado com o princípio da indução em si, desde que ele se aplique somente à avaliação. Para a regulação, esse princípio não é aceitável, ou seja, enquanto avaliação e regulação usarem os mesmos instrumentos, não pode ser aceita a exigência de parâmetros acima do que é previsto em lei.

(ii) é necessária base científica para a escolha dos indicadores e seus critérios

O Brasil já completa 10 anos no uso de instrumentos de avaliação de cursos, desde os tempos da chamada "ACE - Avaliação das Condições de Ensino", que introduziu a espinha dorsal dos atuais instrumentos, com a criação das 3 dimensões (organização didático pedagógica, corpo docente e infraestrutura) e a atribuição de pontos para indicadores, numa escala de 1 a 5, através de um formulário eletrônico. Ou seja, são 10 anos analisando milhares de cursos através de parâmetros muito semelhantes e com toda essa análise registrada nos bancos de dados do INEP.

Todavia, mesmo com essa riquíssima base de dados, faltou olhar para trás e analisar os resultados. Quais indicadores efetivamente têm correlação com a aprendizagem dos alunos e o processo de qualidade como um todo? Na falta dessa análise, prevalece apenas a intuição. A cada reformulação dos instrumentos (foram várias nesses últimos 10 anos, mais de uma a cada 2 anos), novos indicadores são introduzidos e outros removidos sem qualquer base científica. É curioso ver que a Academia se recusa a usar seus métodos para analisar suas próprias entranhas, fato que se choca com a própria determinação da Lei 10.861/2004 (Lei do Sinaes), que afirma em seu Artigo 6o., Item III, que compete à CONAES "formular propostas para o desenvolvimento das instituições de educação superior, com base nas análises e recomendações produzidas nos processos de avaliação" (grifo nosso).

Desta forma, não há argumento técnico para que determinados requisitos sejam simplesmente aumentados, sem que haja qualquer lastro estatístico, apenas porque um grupo restrito de pessoas achou por bem os aumentar.

Cabe, por fim, destacar outro fato importante. Ainda que houvesse um amplo consenso sobre a forma e a utilização dos instrumentos de avaliação, ainda que os instrumentos fossem prenhes de justiça e sabedoria, mesmo assim, o processo seria inconsistente, já que desde 2007, por ocasião da primeira edição da Portaria Normativa 40, é facultado às secretarias do MEC impugnar o relatório da comissão de avaliação in loco, levando a decisão à Comissão Técnica de Acompanhamento da Avaliação (CTAA). Agrava esse fato, a possibilidade das secretarias, mesmo que seu recurso seja indeferido pela CTAA, poderem arquivar o processo, levando o assunto ao Conselho Nacional de Educação (CNE).

Ou seja, o sistema permite que as secretarias tenham duas instâncias de recurso (CTAA e CNE), sobrepondo a sua análise distante e monocrática, à avaliação in loco por pares e à análise de uma corte colegiada.

É com base nessas reflexões iniciais que serão apresentados a seguir os pleitos do Ensino Superior Privado brasileiro com relação à proposta apresentada dos novos instrumentos de avaliação de cursos.

2. Pleitos do Ensino Superior Privado

Demanda social:

É preciso rever o conceito de "demanda social". A existência de demanda de profissionais para uma determinada área em uma determinada região em nada interfere na qualidade do curso. São variáveis absolutamente independentes. Um curso não é melhor, nem pior, porque existe maior ou menor demanda na região. Além do mais, impedir a abertura de novos cursos alegando que não há "demanda social" apenas assegura a reserva de mercado para os cursos que já existem, impedindo a salutar concorrência que só benefícios traz aos padrões de qualidade. A proposta é retirar esse indicador dos instrumentos.

CPC é somente preliminar

Em "Ações decorrentes dos processos de avaliação do curso" (Indicador 1.11), não pode ser considerado o CPC como parâmetro para a avaliação do curso. Deve ser usada apenas a parte do CPC que se refere à avaliação do aluno, que são o ENADE e o IDD. Não faz sentido considerar os demais componentes do CPC (insumos), já que esses são exatamente o objeto da avaliação in loco.

Número de vagas:

Esse é um indicador que já vinha sendo erroneamente considerado nos instrumentos anteriores. Não é possível fazer uma análise subjetiva e determinar se "o número de vagas previsto/implantado corresponde de maneira suficiente (grifo nosso), à dimensão do corpo docente e as condições de infraestrutura da IES" (Indicador 1.17). O que é "suficiente"? Além disso, a adequação das condições de oferta para a quantidade de alunos já está prevista em vários outros indicadores dos instrumentos, ou seja, esse indicador isoladamente é uma repetição desnecessária e com alto grau de subjetividade. A proposta é a retirada desse indicador.

Critério para docente:

O glossário diz que "para efeito de avaliação, considera-se docente do curso o profissional regulamente contratado pela instituição e que, no momento da visita de avaliação encontra se vinculado em uma ou mais disciplinas do curso". Há duas situações que fogem dessa condição. Uma é o caso de coordenadores que se dedicam integralmente à coordenação e não estão vinculados diretamente a uma ou mais disciplinas. Outra é o caso de cursos modulares, em que alguns destes módulos não são ofertados em todos os semestres, o que é particularmente comum nos Cursos Superiores de Tecnologia. Assim, no momento da visita, alguns docentes do curso não estarão vinculados. A proposta é que seja considerado como docente "o coordenador do curso e qualquer profissional regulamente contratado pela instituição e que, no momento da visita de avaliação encontra se vinculado em uma ou mais disciplinas do curso, ou que tenha mantido vínculo no período de 12 meses anteriores à visita."

Exigência de doutores:

Em vários pontos houve o aumento na exigência de doutores. Nos cursos bacharelados e tecnológicos, passa-se a exigir um mínimo de 9% de doutores no corpo docente (antes esse percentual era zero). Em Direito, passou-se de 24% para 30%. No NDE dos cursos de Direito e Medicina, exige-se agora um mínimo de 30% de doutores, o que vai além da Resolução CONAES 01/2010 e que não constava nos instrumentos anteriores.

Além de não haver fundamento legal ou mesmo estatístico que justifique essas mudanças, o progressivo aumento dessa exigência poderá levar a situações dramáticas em determinadas áreas do Brasil, já que de acordo com o Censo da Educação Superior de 2009, 72% dos doutores estão nas regiões Sul e Sudeste.

A proposta é não aumentar as exigências atuais no que se refere aos doutores,

mantendo os níveis dos instrumentos vigentes.

Tempo parcial:

O regime docente em tempo parcial há anos vem sendo considerado como 12 horas, das quais no máximo 75% em sala de aula. No glossário dos novos manuais, todavia, há a ampliação para 20 horas, mantendo o teto de 75% em sala de aula. Esse aumento não tem fundamento, a proposta é manter o conceito atual de 12 horas.

Nesse aspecto, vale ressaltar que o papel dos glossários dos instrumentos de avaliação deve ser meramente elucidativo. Ele não pode assumir caráter normativo, criando novas regras e conceitos regulatórios. Para isso existem os meios apropriados que são as leis, decretos e portarias.

Permanência dos membros do NDE:

A data do início de funcionamento do curso pode não coincidir com a data de sua autorização. Por exemplo, um curso é autorizado em outubro e só começa a funcionar em fevereiro do outro ano. O Decreto 5773/06, através do Artigo 68, faculta às instituições o prazo de um ano para iniciarem as atividades do curso recém-autorizado. Assim, deve ser revista a expressão "atuam ininterruptamente no curso desde o último ato regulatório" nos critérios para analisar a permanência dos membros do NDE nos cursos de Direito e Medicina.

"Destes":

Em diversas partes dos instrumentos de Direito (2.2, 2.8, 2.9), de Medicina (2.2,

2.6, 2.7, 2.12) e demais cursos (2.7) aparece a expressão "destes", referindo-se a um percentual relativo de determinado indicador. Esse critério relativo é confuso e pode gerar situações indesejadas. Por exemplo, no instrumento do curso de Direito, para se obter o conceito 3 no indicador 2.2, é necessário que 60% dos membros do NDE tenham mestrado ou doutorado e, destes (grifo nosso), 50% com doutorado.

Então, digamos que um curso tenha 5 membros no NDE, sendo 1 especialista, 2 mestres e 2 doutores. Pelas contas, 80% têm mestrado ou doutorado e, destes (grifo nosso), 50% têm doutorado, portanto a nota é 3. Entretanto, se esse especialista concluir o seu mestrado, o NDE passa a ter 100% de mestrado ou doutorado e, destes (grifo nosso), apenas 40% terão doutorado, a nota cairá para  1. Ou seja, é um caso em que a titulação do NDE melhorou como um todo, mas a nota caiu, não faz sentido.

A proposta é que as redações não usem valores relativos com a expressão "destes" e especifique, em valores absolutos, a proporção mínima exigida.

Dedicação dos coordenadores de curso:

Houve um aumento na exigência da dedicação dos coordenadores de curso, reduzindo a proporção de 1:30 (horas por vaga) para 1:20. Não há base para isso, a proposta é manter o mesmo padrão atual.

Experiência em EAD para tutores e coordenadores de curso:

A Educação a Distância é apontada como um dos caminhos para o aumento da taxa de escolaridade brasileira e para o atingimento da meta de 10 milhões de alunos na educação superior. Assim, os instrumentos de avaliação podem ser parte dessa política, estimulando a ampliação de cursos e instituições nessa modalidade. Para tanto, um ponto que merece ser revisto é o grau de exigência de experiência prévia dos professores e coordenadores em educação a distância. Ainda é muito pequena a quantidade de profissionais com ampla experiência nesse tipo de oferta, já que ainda é baixo o número de cursos a distância. Propõe- se, assim, que apenas para efeitos de autorização seja reduzido (mas não abolido) o tempo de experiência do coordenador em cursos a distância. O mesmo vale para a experiência dos tutores em EAD, já que mesmo para os docentes essa experiência prévia não é exigida.

Colegiado de curso:

É preciso explicitar o que significa o termo "equivalente" na expressão "Funcionamento do colegiado de curso ou equivalente" (Indicador 2.12). Muitas comissões podem não aceitar outros formatos de organização colegiada da instituição que não sejam explicitamente denominadas por "colegiado de curso".

Produção acadêmica:

Mesmo que tenha sido ampliado o foco de "Produção Científica" para "Produção Científica, Cultural, Artística ou Tecnológica", é excessivo exigir cinco produções nos últimos 3 anos, quando antes era apenas uma. Além disso, antes era a produção média, agora exige-se que 80% dos docentes tenham essa produção mínima. A proposta é manter a exigência anterior, ou seja, uma produção em média por docente nos últimos 3 anos. Além disso, devem ser incluídos os materiais didáticos como produção docente, algo que impacta diretamente na qualidade do curso e no aprendizado do aluno, passando a redação para "Produção Científica, Cultural, Artística, Tecnológica ou de Material Didático".

Bibliografia:

Na bibliografia básica, os novos manuais passam a exigir uma determinada quantidade de títulos por vagas "pretendidas/autorizadas". Para fins de autorização, a redação está adequada. Porém, para reconhecimento e para renovação de reconhecimento, a exigência deve ser feita com base em vagas preenchidas. Afinal, não faz sentido obrigar uma instituição a comprar livros para alunos que não existem, no caso do não preenchimento de todas as vagas. A base, então, deve ser o número de alunos matriculados.

Periódicos:

Antes exigia-se que a instituição possuísse uma coleção de períodos há pelo menos um ano, sem especificar a quantidade. Agora, o tempo de assinatura subiu para 3 anos e foi determinada uma quantidade mínima de 10 títulos distintos. Não faz sentido esse aumento, já que não é a quantidade de assinaturas que importa e sim a forma como o projeto pedagógico integra esses periódicos em sua proposta pedagógica. Além do mais, a cada dia torna-se mais abundante a oferta de periódicos científicos gratuitos na Internet. Aumentar o rigor nesse item é um retrocesso, a proposta é suprimir esse indicador dos manuais.

Arredondamentos:

Os instrumentos precisam deixar mais clara a forma como será feito o arredondamento dos conceitos dentro de uma dimensão. Também é preciso explicitar se a média ponderada do conceito final será calculada antes ou depois do arredondamento das dimensões.

3. Ajustes e correções

Manual de Direito:

• Os itens 2.6 e 2.7 parecem estar repetidos (não seria um para presencial

• ou para EAD?)

• Nos requisitos legais: retirar os itens 4 e 5 (são para CST)

Manual de Medicina:

• Embora o indicador 2.5 seja denominado Regime de Trabalho, ele trata,

• na realidade, da carga horária do coordenador no curso.

• Nos requisitos legais: refazer a numeração (está pulando o 6 e o 7).
• Nos requisitos legais: retirar o item 10 (é para EAD)

Glossário:

• Não define "Vagas previstas". Define apenas "autorizadas" e "oferecidas".

4. Cursos Sequenciais de Formação Específica

É preciso pensar em uma solução definitiva para os cursos sequenciais de formação específica. Ainda existem cerca de 32 mil alunos matriculados em quase 300 cursos dessa modalidade (dados de 2009). Os atuais instrumentos não se aplicam a esses cursos, que navegam hoje como párias num oceano em constantes mudanças. Ou se extinguem tais cursos, transformando-os por decreto em tecnológicos, ou se criam instrumentos específicos para os mesmos. O que não pode é ficar no meio do caminho, sem as instituições saberem como proceder com os mesmos.

5. Sugestão

Muitas instituições têm o hábito de simular a situação de seus cursos para se alinhar de forma mais eficiente aos padrões dos instrumentos. Assim, seria muito útil se o INEP disponibilizasse para download uma versão dos instrumentos em formato texto ou Excel, para que as instituições pudessem criar ferramentas de auto-avaliação.

Para tanto, o padrão ideal seria uma tabela simples, sem células mescladas, em

cada linha um indicador, tendo cada linha 10 colunas:

• Número da dimensão
• Nome da dimensão
• Número do indicador
• Nome do indicador
• Texto com observações do indicador
• Padrão para conceito 5
• Padrão para conceito 4
• Padrão para conceito 3
• Padrão para conceito 2
• Padrão para conceito 1

6. Olhando para o futuro

Os instrumentos de avaliação de curso, desde que foram concebidos há 10 anos, remetem a um modelo educacional em que professores fazem suas preleções, usando determinados livros, a grupos de alunos em salas de aula, tudo isso gerenciado por coordenadores de curso. Esse é um modelo que existe há décadas, senão séculos.

Todavia, o fato desse modelo ser antigo não significa que seja errado ou ineficiente. A tradição não é uma barreira para o progresso, ao contrário, é ela que provê o alicerce para as grandes mudanças. Entretanto, da forma como está posto nos instrumentos, fica muito restrita a possibilidade de inovações em busca de modelos, mais adaptados a uma nova uma nova geração digital.

Qualquer instituição que, por exemplo, tentar implantar um curso inovador, sem disciplinas, baseado na aprendizagem colaborativa através de redes sociais, com facilitadores sem formação acadêmica tradicional, ao invés de professores titulados, receberá uma avaliação baixa no instrumento, tendo que arcar com o ônus das punições regulatórias.

A cada dia surgem novas ferramentas e processos de aprendizagem. Os mecanismos de busca estão tornando obsoletas as bibliotecas e conteúdos digitais de alta qualidade já são encontrados gratuitamente na Internet. Do lado de fora dos muros da rigidez acadêmica, novos modelos colaborativos de aprendizagem estão surgindo de forma espontânea a cada momento. É impossível imaginar que no futuro próximo as salas de aula poderão continuar da mesma forma.

Não está sendo proposto, todavia, que sejam abolidos os atuais instrumentos de avaliação de curso, mas há que se pensar em um modelo que permita um fluxo alternativo, para projetos em caráter experimental. O Governo, por exemplo, poderia divulgar editais periódicos convidando as instituições a apresentarem projetos experimentais inovadores. Pode ser fixada uma cota máxima e os projetos selecionados não seriam avaliados pelos instrumentos ora em discussão, e sim por uma comissão interdisciplinar especificamente criada para fomentar essas iniciativas inovadoras.

7. Conclusão

O Fórum das Entidades Representativas do Ensino Superior Privado conclui essa análise agradecendo à CONAES e ao INEP pela oportunidade de, em nome do segmento que representa, apresentar suas reflexões visando o aprimoramento dos instrumentos de avaliação de curso. Com isso, o Fórum espera que suas propostas e reivindicações sejam acolhidas e que seja buscada cada vez mais a aproximação de todos os agentes ligados à Educação Superior, sem distinção com base em sua natureza jurídica ou sua estrutura organizacional.