Archive for 5 de setembro de 2017

Avaliação autêntica

setembro 5, 2017

Em meus tempos de professor de tecnologia educacional. eu insistia muito no conceito de avaliação autêntica quando meus alunos estava criando modos de verificar resultados de aprendizagem em WebQuests. Mas, havia grande dificuldade para se encontrar referências sobre avaliação autêntica em português. Por esse motivo, fiz um levantamento sobre referências e encontrei um bom artigo no ERIC. Para facilitar a vida dos meus alunos, traduzi o mencionado artigo. Resolvi agora compartilhar com os amigos esse material.

 

Da base de dados do ERIC

Um Caso para Avaliação Autêntica / Resumo ERIC.

Wiggins, Grant

 

Pesquisador e consultor especializado em reforma educacional, Grant Wiggins é  defensor da avaliação autêntica em educação. Este resumo baseia-se em materiais que ele preparou para o “California Assessment Program”.

 

O QUE É AVALIAÇÃO AUTÊNTICA?

A avaliação é autêntica quando nós examinamos diretamente os desempenhos dos alunos em tarefas intelectuais que valem a pena. A avaliação tradicional baseia-se, ao contrário, em itens indiretos de medida  (substitutos, eficientes e simplistas de alguma característica)  a partir dos quais  achamos que é possível fazer inferências válidas a respeito dos desempenhos dos estudantes  em situações sociais muito valorizadas

 

Queremos avaliar capacidade de estruturar problemas e de resolver problemas em matemática?  De fazer pesquisa experimental em ciência? De falar, de ouvir, e de favorecer debates? De revisar inteiramente um trecho de redação imaginativa até ele ficar “adequado” para os leitores? Se quisermos coisas assim, é preciso que nossa avaliação seja construída sobre desafios intelectuais exemplares.

 

Comparações com os tradicionais testes padronizados irão nos ajudar a clarear o que significa “autenticidade” quando consideramos o desenho e uso de instrumentos de verificação da aprendizagem. [Vejam as comparações que seguem]

 

  • A avaliação autêntica requer dos alunos desempenhos efetivos com base no conhecimento adquirido. Os testes tradicionais apenas tendem a revelar quando os alunos podem reconhecer, recordar ou identificar, fora de contexto, o que foi aprendido. Isso pode ser tão problemático como identificar, por inferência, capacidade de dirigir automóveis ou de dar aula, exclusivamente a partir de testes escritos.(Observe, portanto, que o debate não é sobre o que excluir na avaliação: talvez haja alguma virtude nas baterias de testes tão utilizadas para classificar escolas nos Estados Unidos.) [Se transferíssemos esse raciocínio para nossa realidade, poderíamos dizer que talvez haja algo de bom nos provões e ENEM’s da vida].

 

  • A avaliação autêntica apresenta para o estudante a dimensão total de tarefas que refletem as prioridades e desafios encontrados nas melhores atividades de ensino: realização de pesquisas, criação de textos, revisão e discussão de redações, engajamento em análise oral de um evento político recente, colaboração com outros num debate etc. Os testes convencionais, geralmente, estão reduzidos à escolha de resposta única para uma questão, em exercícios de papel-e-lápis.

 

  • A avaliação autêntica volta-se para a verificação de capacidades dos alunos na produção de respostas bem acabadas, completas e fundadas em bons argumentos, ou na manifestação de bons desempenhos, ou na confecção de produtos. Os testes tradicionais geralmente apenas pedem aos alunos para que estes selecionem ou escrevam respostas corretas – sem levar em conta razões ou fundamentos para as respostas. (Raramente há uma oportunidade adequada para planejar, revisar e comprovar as respostas num prova típica, mesmo quando esta inclui questões abertas). A partir desses argumentos, pode-se afirmar que:

 

  • A avaliação autêntica alcança validade e fidedignidade enfatizando e padronizando os critérios apropriados para classificar produtos que podem variar muito [à semelhança das variações que podemos encontrar no dia a dia, uma vez que não há resposta certa para os problemas do nosso cotidiano; cada situação nova exige resposta original]; os testes tradicionais padronizam “itens” objetivos e, consequentemente, a única resposta certa para cada questão.
  • A “validade de um teste” deve depender em parte do como uma prova simula testes reais de capacidade (desafios concretos da vida cotidiana). A validade em muitos testes de múltipla escolha é determinada apenas pela adequação a itens do conteúdo curricular (ou por meio de correlações sofisticadas com outros resultados).
  • Tarefas autênticas envolvem desafios “mal estruturados” [na vida, quase nunca os desafios vêm em formato de algo bem formulado; é preciso quase sempre “montar” os problemas vitais que somos obrigados a resolver] e papéis que ajudam os alunos a ensaiarem para as complexas ambigüidades dos “jogos” dos adultos e da vida profissional. Os testes tradicionais são como exercícios, avaliando elementos estáticos e quase sempre arbitrariamente discretos [não contínuos] daquelas atividades (as atividades da vida concreta).

 

Para além dessas considerações técnicas, o movimento para reformar a verificação da aprendizagem está baseado na premissa de que a avaliação precisa antes de tudo contemplar as necessidades dos alunos. Por isso, testes secretos compostos por itens e notas “delegados” [com o termo entre aspas o autor quer designar o ato de “estar no lugar de”, de representar algo que não está presente nos itens da prova] que não têm significado óbvio ou usabilidade solapam a capacidade dos professores para melhorar o ensino e a capacidade dos alunos para melhorar seus desempenhos. Nós ensinamos e ensaiamos para provas autênticas _ pense na música e no treinamento militar _ sem comprometer a validade.

As melhores provas sempre ensinam alunos e professores o tipo de trabalho que mais importa; elas são habilitantes e comprometidas com o futuro, não refletem apenas o ensino prévio. Em muitas faculdades e em todos os ambientes profissionais, os desafios são conhecidos previamente – nestes casos, alunos ou trabalhadores sabem qual o relatório que deve ser apresentado, o recital que irá para o palco, a apresentação que deve ser feita para a diretoria, o caso jurídico a ser resolvido, o artigo a ser escrito etc. Provas tradicionais, ao requererem total segredo para sua validade, dificultam, para professores e alunos, o aperfeiçoamento e o ganho de confiança que nascem do conhecimento prévio de suas obrigações de desempenho.  (Um desafio conhecido também torna possível levar todos os alunos a atingirem altos padrões).

 

POR QUE PRECISAMOS INVESTIR NESTAS FORMAS TRABALHOSAS DE AVALIAÇÃO?

 

Embora possam ser indicadores válidos ou capazes de prever desempenho acadêmico, os testes de múltipla escolha muitas vezes enganam os alunos e professores quanto ao tipo de trabalho que deve ser dominado. Notas baseadas em normas não são padrões; itens de teste não são problemas concretos; respostas corretas não são  fundamentos.

O que muitos defensores de provas tradicionais deixam de ver é que a forma, não o conteúdo, desses instrumentos é prejudicial à aprendizagem; demonstrações da validade técnica dos testes padronizados não é o assunto importante nesse debate sobre a reforma da avaliação. Os alunos acabam acreditando que aprender é empanturrar-se com informação; os professores acabam acreditando que os testes são inevitáveis, amolações impostas, conjunto  de questões artificiais, irrelevantes para seu (deles) sucesso e alvo. Ambos os interessados são levados a acreditar que respostas corretas importam mais que hábitos da mente, e a justificação do modo como alguém aborda uma questão e os resultados.

Uma mudança na direção de tarefas e resultados mais autênticos melhora então o ensino e a aprendizagem: os alunos ganham uma clareza maior a respeito de suas obrigações (e são convidados a dominar tarefas mais envolventes), e os professores passam a acreditar que os resultados de avaliação são tanto significativos como úteis para a melhoria do ensino.

Se a sua meta for apenas a de monitorar o desempenho, as provas convencionais serão adequadas para você. Se a sua meta for a de melhorar o desempenho, suas avaliações deverão ser compostas por tarefas exemplares, critérios e padrões.

 

SERÁ QUE A AVALIAÇÃO AUTÊNTICA NÃO É MUITO CARA E TRABALHOSA? 


Os custos são enganosos: embora o modo de atribuir valores a um julgamento baseado em tarefas pareça caro quando comparado com testes de múltipla escolha (cerca de dois dólares por estudante, contra cerca de um centavo), os ganhos para o desenvolvimento profissional dos professores, da avaliação local e da aprendizagem dos alunos são muitos. Os estados da Califórnia e de Nova Iorque (com suas provas de redação e de execução em ciências) obtiveram melhorias significativas  no ensino e avaliação da escrita e das ciências pois os professores se envolveram e investiram no processo avaliativo.

Se o custo parecer proibitivo, a utilização de amostras significativas pode ser a resposta _ a estratégia foi empregada na Califórnia, Vermont e Connecticut em seus projetos sobre novos desempenhos e avaliação baseada em portfólio.      Seja por meio de uma amostragem de muitos gêneros de literários, onde cada estudante obtém apenas uma avaliação mais cuidadosa, seja por meio de amostragens de um pequeno número de todos os escritos dos alunos e escolas; ou seja pela avaliação de uma pequena amostra de alunos, obteve-se informação valiosa por um custo mínimo.

E o que é que nós ganhamos quando deixamos de avaliar adequadamente todos os resultados e capacidades que julgamos serem valiosos simplesmente porque o processo é trabalhoso, caro e consome muito tempo?  Muitos outros países pedem rotineiramente que seus alunos respondam, oralmente e por escrito,  as questões mais importantes _ tais países são os mesmos que nos superam em comparações internacionais sobre educação. Dinheiro, tempo e treinamento são rotineiramente empregados para assegurar que a avaliação seja de alta qualidade. Eles também julgam corretamente que altos padrões dependem da qualidade das avaliações que se processam no dia-a-dia localmente _ circunstância que ameniza o custo aparentemente alto do treinamento dos professores para avaliar o trabalho dos alunos em verificações locais ou nacionais.

 

SERÁ QUE O PÚBLICO IRÁ ACREDITAR NA OBJETIVIDADE E FIDEDIGNIDADE EM RESULTADOS BASEADOS EM JULGAMENTO? 

 

Nós nos esquecemos de que numerosos programas de testes estaduais e nacionais com alto grau de credibilidade e integridade foram, por muitos anos, operados com o uso de juízes humanos. Exemplos disso são:

* os exames do New York Regents , parte dos quais incluía redações desde o início _    gabaritados localmente  (embora auditados em nível estadual);

*o programa Advanced Placement  que usa questões abertas e tarefas, incluindo não só redações em muitas provas, mas também testes baseados em desempenho nos exames do The Art Portfolio e nos exames de  línguas estrangeiras:

  • exames estaduais de redação, em doze unidades da federação, que incluíam redações modelares, treinamento de leitores, leitura sem preparação prévia e procedimentos para evitar vieses e obter confiabilidade adequada ;
  • o National Assessment of Educational Progress (NAEP), um exame determinado pelo Congresso americano, usa numerosas questões abertas  e demandas de redação (e desempenhos de execução em ciências, pilotados com grande sucesso);
  • a nova legislação que privilegia testes baseados em desempenhos ou em porfólios no Arizona, Califórnia, Connecticut, Kentucky, Maryland e Nova Iorque.

Embora a pontuação de testes padronizados não esteja sujeita a erros, os procedimento pelo qual se estabelecem os itens escolhidos, e as maneiras pelas quais  ficam estabelecidas as  notas de corte, são quase sempre muito subjetivos e, tipicamente, imunes à verificação e supervisão pública [não são transparentes, na expressão frequentemente empregada em nossos meios políticos].

A validade genuína não evita julgamento humano. Nós monitoramos e melhoramos o julgamento por meio de sessões de treinamento, desempenhos modelares usados como exemplos, políticas de auditoria e supervisão, assim como por meio de procedimentos básicos como os de ter juizes  neutros revisando trabalhos de estudantes cujos nomes, e experiências, são desconhecidos á semelhança do que ocorre rotineiramente nos mundos do esporte, do trabalho e das artes quando se julgam desempenhos.

A avaliação autêntica também tem a vantagem de fornecer aos pais e aos membros da comunidade  produtos diretamente observáveis e evidências entendíveis  a respeito dos desempenhos dos alunos; a qualidade do trabalho dos alunos torna-se mais discernível para os leigos do que quando precisamos nos valer  de translações ou falar de estaninas ou de re-interpretação de resultados.

Finalmente, como bem coloca a pesquisadora Lauren Resnick, o que você avalia é o que você obtém em termos de resultado. Para melhorar o desempenho dos alunos é preciso reconhecer que as habilidades intelectuais essenciais estão se perdendo através das muitas falhas dos testes convencionais

 

 LEITURA ADICIONAL


Archbald, D. & Newmann, F. (1989) “The Functions of Assessment and the Nature of Authentic Academic Achievement,” in Berlak (ed.) Assessing Achievement: Toward the development of a New Science of Educational Testing. Buffalo, NY: SUNY Press.

Frederiksen, J. & Collins, A. (1989) “A Systems Approach to Educational Testing,” Educational Researcher, 18, 9 (December).

National Commission on Testing and Public Policy (1990) From Gatekeeper to Gateway: Transforming Testing in America. Chestnut Hill, MA: NCTPP, Boston College.

Wiggins, G. (1989) “A True Test: Toward More Authentic and Equitable Assessment,” Phi Delta Kappan, 70, 9 (May).

Wolf, D. (1989) “Portfolio Assessment: Sampling Student Work,” Educational Leadership 46, 7, pp. 35-39 (April).

—–

Esta publicação foi preparada com financiamento do the Office of Educational Research and Improvement, U.S. Department of Education sob o contrato de númeroR88062003. Opiniões expressas neste relatório não refletem necessariamente as posições e políticas df OERI ou do the Department of Education. É permitido copiar e distribuir este ERIC/TM.  [Tradução: Jarbas Novelino Barato, novembro de 2003].

Title: The Case for Authentic Assessment. ERIC Digest.
Author: Wiggins, Grant
Publication Year: 1990
Document Type: Eric Product (071); Eric Digests (selected) (073)
Target Audience: Teachers and Practitioners
ERIC Identifier: ED328611
This document is available from the ERIC Document Reproduction Service.

Descriptors: Comparative Testing; Cost Effectiveness; * Educational Assessment; Elementary Secondary Education; Nontraditional Education; Public Opinion; Standardized Tests; * Test Use; Test Validity

Identifiers: *Authentic Assessment; California Assessment Program; *Direct Assessment; ERIC Digests; Indirect Assessment

Tradução: Jarbas Novelino Barato, São Paulo, 2005.

http://ericae.net/edo/ED328611.htm

Anúncios