Avaliação de reação

AVALIAÇÃO & AVALIAÇÃO DE REAÇÃO

OBSERVAÇÕES SOBRE AVALIAÇÃO

1. determinar medida de tecidos (modo antigo)

Questão (comercial): comprar por qual medida (av.)?

vender por qual medida?

ê conceito: Fidedignidade

• numa prova de ensino elementar o uso do conceito ANIMAL MAMÍFERO é avaliado com a seguinte questão:

Veja as três figuras e nomes abaixo. Faça um X sobre a figura que corresponde a um animal mamífero.

               pato                     vaca                galinha

Questão: acerto ou erro vão me dizer se a criança domina ou não domina o conceito de animal mamífero?

Conceito: Fidedignidade e Validade

Validade: este instrumento mede o que ele pretende medir?

• Efeito Howthorne

No campo de medidas para melhorar produtividade, pesquisadores de Howthorne fizeram um trabalho para determinar associação entre luminosidade/produtividade. Conversaram com operárias, perguntaram pela luminosidade, ouviram reclamações, aumentaram luminosidade, obtiveram mais produtividade. Nova conversa, mais luz, mais produção. Nova conversa, menos luz, mais produção.

Conversa

Mais luz                    mais produção

Conversa

Menos luz                    mais produção

Mayo conseguiu mostrar que a relação não era luz   ê  produtividade, mas sim atenção pessoal ê produtividade

Caso implica Conceito de Validade

• Que instrumento escolher?

Vocês querem medir luminosidade. Que instrumento escolher?

1. fotômetro
   1. medidor de calor
   1. balança

ê a escolha do instrumento tem relação com o conteúdo daquilo que se quer avaliar/medir.

Caso implica Conceito de Validade

• Muita gente critica o desempenho dos universitários no show do milhão.

O que é que se avalia no tal show?

. capacidade de raciocínio?

. capacidade de síntese?

. capacidade de análise?

. capacidade de memorização?

. capacidade de compreensão?

. capacidade de aplicação?

. capacidade de processar/transformar informação?

ê qualquer pergunta do Humilhão avalia exclusivamente memorização de dados/informação.

ê Humilhão não é válido para a avaliação de qualquer outra dimensão de saber.

            suas provas e/ou instrumentos de avaliação são válidos para avaliar

análise

síntese

transformação

generalização

compreensão

aplicação

criatividade

capacidade de aprender a aprender?

AVALIAÇÃO DE REAÇÃO

1. O que você pode  (e deve) fazer com o resultado das respostas à seguinte item de avaliação:

. Dê um anota de 1 a 5 para o nosso material didático.

Se a média for 2 ê

Se a média for 5 ê

Se a média for 8 ê

O que quer dize a média 2?

Item é válido e confiável?

• Que material você usaria para tomar decisões sobre conforto ambiental?

Respostas a uma pergunta no questionário de reação?

Medidas obtidas por meio de aplicação de tabelas que determinam níveis desejáveis de adequação ergonômica.

O que é mais confiável?

• Você já viu repórteres fazendo perguntas como as seguintes?

• O governo vai aumentar em 100% o imposto sobre uso do ar. O que você acha disso?

• A editora não quer mais pagar os direitos autorais do Quixote para o Miguel Cervantes. Você acha que o autor deve processar a editora?

No geral, o público dá respostas. A veracidade não é posta em dúvida. No plano das opiniões, não queremos ser ignorantes.

• Caso clássico de manipulação de opinião. Coordenadores de aplicação de um teste visitam salas. Numas, nada falam. Noutras, num canto, manifestam seu desagrado pelo aplicador do teste. No final, há uma avaliação sobre desempenho dos aplicadores. Adivinhem quem obtém mais pontos?

ê Opinião pode ser contaminada.

• Caso clássico: Pigmaleão Vai à Escola. No final de um processo de rotulação dos alunos, os resultados correspondem aos rótulos atribuídos no começo.

ê Rótulos podem influenciar (favorável ou desfavoravelmente) resultados.

CUIDADOS NA ELABORAÇÃO DE QUESTIONÁRIOS DE AVALIAÇÃO DE REAÇÃO

1. Evitar questões “objetivas”.

respostas tendem a contaminação, expressão de saber (apesar de ignorância) etc.

• Limites de questão única.

provavelmente sem qualquer validade e fidedignidade.

• Utilizar fórmulas que não revelem claramente as intenções avaliativas.

• Trabalhar com baterias

• Utilizar instrumentos que facilitem respostas.

• Tentar representar os modos de expressar opinião da clientela.

MELHOR OPÇÃO: AVALIAÇÃO DE TRAÇO, UTILIZANDO DIFERENCIAL SEMÂNTICO.

1. Bateria de 20 questões por traço
2. Algumas questões (5) com pontuação inversa.
3. Linguagem coloquial e correspondente ao universo vocabular da clientela.
4. Conclusão sobre um único traço.
5. Facilidade de respostas (duração em torno de 5 minutos no total).

Etc.

UMA PROPOSTA CONCILIATÓRIA

1. Instrumento com 15 questões.

• Escala de 5 pontos

• Aceitação de 3 traços, medidas por 5 questões cada.

CONCEITUAÇÃO

Avaliação de reação

 basicamente é uma escala de atitude e serve para situar como o cliente viu a atividade.

é elaborada com a utilização de afirmações que retratam a fala do cliente; nunca inclui questões diretas e/ou objetivas pois essas tendem a sugerir respostas esperadas, não o que o cliente de fato sente.

– a escala deve ser genérica ê proporcionando usos para várias atividades ê assim será possível fazer comparações entre eventos.

                         enfatizar que avaliação de reação é “científica” quando é possível fazer comparações.

n possibilidades:

• mesmo evento/público diferente
  • evento diferente/mesmo público
  • evento diferente/público diferente

X variações no tempo, etc.

Publicidade

Educação e individualismo 1

Venho pensado muito sobre o tema nos últimos dias. Tenho a intuição de que o problema deve ser examinado a partir de rigorosa análise epistemológica. Ainda não consegui fazer isso, nem sei se sou capaz de fazê-lo. Mas, registro minhas impressões aqui na esperança de que amigos possam me ajudar.

Há uma face do individualismo em educação, evidenciada pelo sistema de notas e pela competição. Isto, porém, é muito superficial e muito distante de uma amarração epistemológica digna do nome. A eliminação de notas e da competição não acaba com o profundo individualismo que existe na educação, apenas o mascara.

Um caminho que podemos seguir é o de examinar alguns pressupostos que estão por trás de propostas educacionais. Um deles é o entendimento de que o conhecimento é “adquirido”. Esse pressuposto indica que conhecimento é um bem que pode ser comprado pela freguesia. Leva mais conhecimento para casa quem tiver mais recursos (inteligência, capacidade de estudo, atenção concentrada etc.). Esta concepção estabelece uma diferença brutal entre os educacandos e justifica fracassos, além de promover a ideia de meritocracia.

Outro pressuposto é o de que aprendemos solitariamente conteúdos de conhecimentos, não aprendemos em sucessivas elaborações sociais do saber. Aqui estamos no campo das metodologias. Acho que duas abordagens muito populares em termos metodológicos, a ativa e de competências têm fundo individualista. Reparem no meu acho… Eu preciso elaborar mais a coisa para mostrar como a minha desconfiança pode se converter em certeza.

Já fui longe demais e mal toquei no problema. Preciso de mais tempo para examiná-lo. Preciso, principalmente da colaboração dos amigos.

Buscadores na Web

Acabo de ver um pequeno texto que relaciona diversos buscadores na Web. Eles estão voltados para áreas específicas e podem ser boas fontes para que a gente encontre artigos, papers e livros de interesse. Copio o dito texto.

Google is so powerful that it “hides” other search systems from us. We just don’t know the existence of most of them.

Meanwhile, there are still a huge number of excellent searchers in the world who specialize in books, science, other smart information.

Keep a list of sites you never heard of.

www.refseek.com – Academic Resource Search. More than a billion sources: encyclopedia, monographies, magazines.

www.worldcat.org – a search for the contents of 20 thousand worldwide libraries. Find out where lies the nearest rare book you need.

https://link.springer.com – access to more than 10 million scientific documents: books, articles, research protocols.

www.bioline.org.br is a library of scientific bioscience journals published in developing countries.

http://repec.org – volunteers from 102 countries have collected almost 4 million publications on economics and related science.

www.science.gov is an American state search engine on 2200+ scientific sites. More than 200 million articles are indexed.

www.pdfdrive.com is the largest website for free download of books in PDF format. Claiming over 225 million names.

www.base-search.net is one of the most powerful researches on academic studies texts. More than 100 million scientific documents, 70% of them are free