Quinta-feira, 18 de Maio de 2006

Português 1 X 2

No DN de 17 de Maio, era este o título do artigo de opinião de Vasco Graça Moura. O Totobola vem a propósito do uso de testes de escolha múltipla na avaliação da leitura. Escreve Graça Moura:
"sei que não se pode aceitar que os exames de Português obedeçam ao princípio do Totobola".
Em que medida é que os testes de múltipla escolha são similares ao Totobola? Será porque se preenchem com cruzinhas e porque se podem responder ao acaso? Não há a menor dúvida que assim é, ambos se fazem com cruzinhas e ambos se podem responder ao acaso. Mas será assim tão pouco abonatória para os testes de múltipla escolha, a semelhança? Ora, nenhum apostador do Totobola deixará de investir os seus conhecimentos futebolísticos na escolha das alternativas. Para ter sucesso, todos tentam prever as probabilidades de empate, vitória ou derrota de cada uma das equipas, com base no conhecimento que têm. E são poucos os que conseguem acertar em todas as alternativas. Conclusão: todos tentam diminuir o factor do acaso com o conhecimento que têm. Se o Totobola tem três alternativas em cada item, os testes de múltipla escolha propostos têm quatro. A isto se refere Vasco Graça Moura quando escreve:
"Se não teve aproveitamento e não é capaz de produzir um texto, o teste de resposta múltipla só vai dissimular esse problema e contribuir para um resultado injusto, isto para não falar na situação escandalosa de o aluno ter 25% de hipóteses de acertar logo à partida (em quatro quadradinhos para pôr a cruzinha, um deles há-de ter a resposta certa)"
Mas o que interessa não é a resposta a uma questão, mas a resposta a um conjunto de questões, considerado como o nível de proficiência exigido. Imaginemos, por exemplo, que o teste tem duas questões. Qual é a probabilidade de acertar ao acaso em ambas? Combinando as probabilidades de ambas, temos 16 combinações possíveis, mas só uma certa, isto é, 1/16, 6,25%. Se o teste tiver 3 questões, a probabilidade de acertar em todas descerá para 1/24, menos de 2%. Num teste de 20 questões, a resposta ao acaso a todas as questões tem uma probabilidade de 1 em cerca de 1 milhão de milhões de hipóteses. Uso regularmente testes de múltipla escolha de 4 alternativas em História e Geografia de Portugal, e tenho 3 alunos que respondem quase totalmente ao acaso, e fazem o teste em 5 minutos. Em nenhum dos 3 testes, nenhum deles conseguiu acertar a mais de 2 perguntas, num total de 20, o que é negligenciável no que respeita à cotação do teste. Já vi testes de múltipla escolha de leitura compreensiva, que permitem avaliar interpretações e inferências textuais bastante complexas, mas claro, um teste desse tipo não permite avaliar interpretações de todo imprevisíveis. Todavia, uma interpretação desse tipo entra no nível que Bloom classificaria como de síntese. Pois, se são imprevisíveis para os professores que elaboram testes, também, serão uma incógnita, numa resposta redigida, quanto à aceitabilidade pelo professor que corrige e classifica a prova. Concordo inteiramente com Paulo Feytor Pinto quanto à necessidade de separar a avaliação da leitura da avaliação da escrita. As dificuldades na escrita podem impedir a expressão duma capacidade interpretativa superior. O teste de múltipla escolha elimina este obstáculo. Infelizmente, VGM, está longe dos problemas que se colocam na aprendizagem da leitura. Paulo Feytor Pinto chamou a atenção para o problema da memória de interpretações feitas na aula poder viciar a avaliação. Paulo Feytor Pinto disse:
"Avalia-se se os alunos conseguiram memorizar o que foi dito na sala de aula sobre os textos"
VGM interpretou isto como uma objecção ao papel da memória na aprendizagem.
"Então, não é também para isso que eles têm aulas?"
Quer dizer, VGM, que eles têm aulas para memorizar interpretações de textos, interpretações que estão desde já feitas e que eles apenas memorizam, sem nem sempre as compreenderem? Concordo, mais uma vez com o Paulo Feytor Pinto. Para avaliar a capacidade de leitura, importaria utilizar outros textos, que não necessariamente os que foram lidos na aula. A questão é se o aluno está a repetir no teste interpretações decoradas ou, efectivamente, a investir todos os seus conhecimentos na leitura dum texto novo. Em último caso, se está mesmo a ler, porque ler não é repetir leituras já feitas. A posição de VGM resulta duma defesa intransigente, mas cega, do cânone e da tradição literárias. Concordo que há um conjunto de textos da nossa história literária que têm que ser objecto de leitura na escola. Mas não concordo que se ignorem os avanços feitos no campo dos estudos da piscologia e das ciências da linguagem, assim como das técnicas de avaliação e da elaboração de testes.
publicado por Redes às 10:36
link do post | comentar | favorito
|
16 comentários:
De Lus Filipe Redes a 20 de Maio de 2006 às 16:56
Claro, claro, claro...
Um teste de múltipla escolha não pode avaliar a capacidade de escrever, nem sequer a de discorrer orlamente sobre um texto lido. Mas um exame, um teste, tem as suas limitações, de tempo, por exemplo.
Pode avaliar o que é que uma pessoa é capaz de compreender num texto lido. Uma pessoa pode expressar uma leitura por escrito (ensaio, recensão, etc.), ou através do desenho, da mímica ou do que quer que seja. Quando o faz, acrescenta sempre à dificuldade da leitura, as dificuldades da linguagem, do género e dos protocolos, que utilizou para comunicar.
Um teste de escolha múltipla de compreensão da leitura serve só para testar essa competência e a habilidade de responder a testes de múltipla escolha. Para testar a escrita, é necessário escrever...


De Helena Barrinha a 20 de Maio de 2006 às 02:59
Luís:

Também li o artigo de Vasco Graça Moura e acho-o simplista nas objecções que faz às questões de múltipla escolha - simplesmente porque o enunciado de exame, tanto quanto sei, não se resume a elas. São apenas uma parte do enunciado. Na minha experiência, é óbvio que já me tenho deparado com respostas mal redigidas que dificultam a compreensão das ideias expressas. No entanto, não estou certa se essa estratégia de avaliar a competência de leitura por questões de escolha múltipla resolverá o problema dos alunos que não sabem escrever. Na minha opinião, eles não deviam chegar ao 12º com dificuldades de escrita tão graves que pudessem impedir a compreensão do seu enunciado.
Com isto, não se estará apenas a adiar a resolução do problema da falta de competência na escrita? Por outro lado, não vejo como é que essa estratégia poderá contribuir para que um aluno com manifestas dificuldades de escrita possa ter resultado positivo no exame, mesmo que acerte na maior parte das questões de escolha múltipla, se há grupos onde vai ter de escrever... A não ser que o GAVE esteja a reservar-nos uma surpresa (por enquanto não há testes-modelo) e a preparar enunciados de exame de Português (que é bem diferente da História ou Geografia, como sabes) com a maior parte dos itens de escolha múltipla... Assim sendo, onde ficará a avaliação da parte do programa consagrada à "Oficina de Escrita"?
Por fim, quanto ao argumento de que esse tipo de perguntas limita algumas interpretações - as tais imprevisíveis mas com possibilidade de serem aceites - é um facto. Tanto nas reuniões de correctores como nos critérios de correcção dos exames, até agora, isso tem sido contemplado. É óbvio - e tem-se verificado - que depois da reunião, alguns correctores aplicam critérios diferentes dos acordados... Os itens de escolha múltipla poderão servir para impedir que continuem a fazê-lo, resultando daí uma maior uniformização de critérios. Daí eu pensar que tal estratégia servirá mais para resolver este assunto, do que para beneficiar realmente os alunos, tal como tem sido dito, porque, para estes, pouca utilidade terá se continuarem a progredir na sua escolaridade sem saberem escrever...

Lena b


De Pedro Leitão a 17 de Junho de 2008 às 22:53
Fiz hoje exame de Análise Matemática II na faculdade de Matemática da UC, frequento Eng. Electrotécnica de de Computadores. Não fui a nenhuma aula, não sabia absolutamente nada da matéria, respondi as 12 questões seguindo os meus métodos de análise de probabilidades que uso sempre na escolha múltipla. As respostas erradas descontavam. Obtive a classificação final de 10 valores. Fiz a cadeira.


De Redes a 19 de Junho de 2008 às 02:35
O improvável acontece. O milagre é o impossível que deixa de o ser.
Só estou a dizer que é altamente improvável. Na sua análise de probabilidades, há provavelmente algum conhecimento intuitivo da matéria. Ou o seu método não inclui a leitura das alternativas?
Pode também haver testes de múltipla escolha mal elaborados em que as más alternativas são demasiado disparatadas, por exemplo.
Faço testes de múltipla escolha em História e só os bons alunos têm mais de 70% das respostas certas.
Veja se eu eu estou errado em termos matemáticos: se um teste tem questões de 4 alternativas em cada uma há uma probabilidade de 25% (1/4). Imagine que o teste tem só 2 questões, qual a probabilidade de uma pessoa acertar ao acaso nas duas questões? Penso que é 50% de 25%, isto é, 12,5%, ou não? Se forem três as questões será 33% de 25, isto é 8,3%. E aí por diante... quanto maior o número de questões, menor a probabilidade de acerto casual.
Num teste de 20 questões, acertar em 10 ao acaso será de 10% de 25% + 10% de 25%, isto é de 5%. Isto é, teoricamente em 100 alunos 5 poderiam, gabar-se de ter tido 10/20, ao acaso. Será esse o seu caso?
É ainda uma probabilidade elevada. Por isso, nos testes de múltipla escolha o critério de "positivo" não deve ser ingenuamente metade das questões certas.
Mesmo assim, obrigado, Pedro Leitão, penso que o cálculo de probabilidades feita acima está errado, exagerando a improbabilidade. Aqui estará certo? Talvez o senhor esteja em melhores condições de avaliar isso do que eu que sou homem de letras.


De Pedro Leitão a 19 de Junho de 2008 às 02:53
Claro que é altamente improvável tirar uma positiva completamente ao acaso!

Só que aqui há que ter em conta vários factores, em que o principal é que, a menos que aignorância seja mesmo completa, o que raramente é o caso (sempre se sabe alguma coisa, convenhamos...), dá sempre para excluir uma ou outra hipótese, ou saber uma ou outra pergunta...

O que eu acho estranho não é um aluno, ao acaso, chumbar num teste de escolha múltipla. Isso é o normal e o provável.

O que acho estranho é num teste com 20 perguntas de 4 alíneas cada uma pessoa que o faça ao calhas não acerte nunca mais de 2... quando o resultado previsível probabilisticamente seria cerca de cinco...

Mas não quis ser desagradável com o meu comentário... apenas fazer ver que a escolha múltipla, com algum engenho e um pouco de sorte, pode facilmente passar alunos sem conhecimentos (coisa que outro tipo de testes não).


De Pedro Leitão a 17 de Junho de 2008 às 22:56
P.S.-O facto de os alunos não acertarem mais de 2 perguntas por teste de 20 perguntas levanta uma questão no mínimo curiosa a nível probabilístico... Com uma hipótese de 1/4 de acertar em cada pergunta, e sendo que o teste tem 20, e que 20/4=5, como é que os alunos nunca acertam mais de 2? O esperado seria aproximadamente 5...

Dados muito duvidosos, e arriscaria a dizer que falseados :) (Ou esses alunos são extremamente azarados e aí têm os meus pêsames...)


De Redes a 19 de Junho de 2008 às 02:52
Tem toda a razão. obrigado.
O meu cálculo está errado. É de facto uma coisa elementar de teoria dos jogos, mas comecei erradamente a multiplicar probabilidades. Não sei se o seu cálculo está certo, porque não se trata do mesmo ensaio de cada vez que se faz um pergunta como quando se lança cara ou coroa. A probabilidade em dois lançamentos de sair coroa é de 100%, mas aqui cada resposta tem o seu próprio resultado, não são como um jogo de 4 alternativas, a, b , c, d em que lançando ao acaso se verifica a probabilidade de 1 resultado "a" que seria de 25% em cada ensaio e de 100% ao fim de 4 ensaios.


De Pedro Leitão a 19 de Junho de 2008 às 02:57
Não percebo muito bem a ideia de que a probabilidade de em dois lançamentos sair coroa é de 100%... A que se refere? Á probabilidade de em dois lançamentos sair, pelo menos, uma vez coroa? É que nesse caso a probabilidade é de 75%, visto que há quatro casos possíveis... (Cara/Coroa, Cara/Cara, Coroa/Cara e Coroa/Coroa).


De Redes a 19 de Junho de 2008 às 05:26
Caro Pedro Leitão,
Estou sinceramente na dúvida acerca da correcção do seu raciocínio.
Repare: numa pergunta de 4 alternativas tem 1/4 de hipóteses de acertar. Se a segunda pergunta fosse uma segunda tentativa tentativa da primeira, poderíamos considerar que a probabilidade de acertar 1 em dois ensaios seria de 1/2 e de 1/1 ao fim de 4 questões.
Ora, não se trata disso, mas da probabilidade de acontecimentos independentes igualmente prováveis acontecerem em simultâneo (1/4).
Em duas questões, você escolhe uma combinação por exemplo, 1a-2b de entre 16 combinações possíveis. Daí eu ter multiplicado as probabilidades 1/4 X 1/4 = 1/16.
Para ter o teste todo certo, você tem uma combinação de 1 sequência de


De Redes a 19 de Junho de 2008 às 06:08
Não sei se isto está certo ou não, mas, estive a calcular as combinações possíveis num teste de 20 questões:
1,09951E+12
Destas milhões de combinações possíveis, só uma é a combinação certa de escolhas. Probabilidade, portanto de 1 para milhões.
Mas se calcular o número de arranjos possíveis de 10 respostas certas em 20 possíveis, dá
6,70443E+11
O que dá uma probabilidade de 60% (0,6098). OU então aumentar o número de alternativas para 5 em cada questão.
Mas basta aumentar a exigência do número de questões certas para positiva para obter probabilidade de acerto ao acaso inferior a 1%.
Na Telescola, no meu 5º e 6º ano (1968), eu fazia testes de escolha múltipla de 40 questões, com 5 alternativas cada.


De Redes a 19 de Junho de 2008 às 06:12
Correcção:
Não sei se isto está certo ou não, mas, estive a calcular as combinações possíveis num teste de 20 questões:
1,09951E+12
Destas milhões de combinações possíveis, só uma é a combinação certa de escolhas. Probabilidade, portanto de 1 para milhões.
Mas se calcular o número de arranjos de 10 respostas certas em 20 possíveis, dá
6,70443E+11
O que dá uma probabilidade de 60% (0,6098).
Mas basta aumentar a exigência do número de questões certas para 12 para obter uma probabilidade de acerto ao acaso inferior a 1%.
Na Telescola, no meu 5º e 6º ano (1968), eu fazia testes de escolha múltipla de 40 questões, com 5 alternativas cada.


De Redes a 20 de Junho de 2008 às 01:58
Isto é complicado porque envolve cálculo combinatório com grandes n úmeros pelo meio. Volto ao princípio: Se o teste tem uma pergunta só de 4 alternativas a probabilidade é de 1/4, com 2, 1/16 e por aí adiante.
Quando calculamos k respostas certas num total de n questões é que o cálculo se complica.
Penso que já corrigi as minhas fórmulas.
Acertar 6 questões num total de 12 com 4 alternativas tem a probabilidade de acaso de 4%, isto é, 1/25, portanto, quase residual.
10 certas num teste de 20 tem uma probabilidade de 1%.
Mas continuamos a jogar no Totoloto com muito menos hipóteses!
Obrigado!


De Pedro Leitão a 20 de Junho de 2008 às 02:02
Tenho a acrescentar que o exame em questão descontava no caso de resposta errada... A probabilidade de ter positiva é bem inferior a 1%... Visto que não basta ter 6 certas (ou entao tem que se ter 6 certas respondendo apenas a 6) para se ter positiva devido aos descontos.


De Redes a 25 de Junho de 2008 às 00:37
Obrigado,
É uma técnica usual em testes de múltipla escolha, a penalização dos erros.
Aprendi bastante com esta conversa.
Sim, estava errado o caso de cara ou coroa.


De Pedro Leitão a 25 de Junho de 2008 às 00:38
:)


De orzfqn a 8 de Setembro de 2011 às 23:46
C3iEL9 <a href=\"http://tyhstltdvgud.com/\">tyhstltdvgud</a>, [url=http://dihoqfalfloy.com/]dihoqfalfloy[/url], [link=http://yiwetvrdmann.com/]yiwetvrdmann[/link], http://jccissshdfoq.com/


Comentar post

.mais sobre mim

.pesquisar

 

.Maio 2017

Dom
Seg
Ter
Qua
Qui
Sex
Sab

1
2
3
4
5
6

7
8
9
10
11
12
13

14
15
16
17
18
19
20

21
22
23
24
25
26
27

28
29
30
31


.posts recentes

. Avaliação da Homeopatia

. Deve o exame condicionar ...

. Bloomberg desvaloriza efe...

. Tratados ortográficos int...

. Acordo Ortográfico: Decla...

. Aniversário da Revolução ...

. Encontro sobre o Acordo O...

. O Acordo Ortográfico entr...

. O reino de Walter Hugo Mã...

. Defesa da escola pública ...

.Blogs das minhas desoras

.Extreme Tracking

eXTReMe Tracker

.Wikipédia

Support Wikipedia

.arquivos

. Maio 2017

. Abril 2017

. Março 2017

. Fevereiro 2017

. Janeiro 2017

. Dezembro 2016

. Novembro 2016

. Julho 2016

. Maio 2016

. Abril 2016

. Fevereiro 2016

. Janeiro 2016

. Dezembro 2015

. Novembro 2015

. Outubro 2015

. Setembro 2015

. Agosto 2015

. Maio 2015

. Março 2015

. Janeiro 2015

. Novembro 2014

. Outubro 2014

. Julho 2014

. Junho 2014

. Maio 2014

. Janeiro 2014

. Dezembro 2013

. Novembro 2013

. Outubro 2013

. Setembro 2013

. Agosto 2013

. Julho 2013

. Junho 2013

. Maio 2013

. Abril 2013

. Março 2013

. Fevereiro 2013

. Janeiro 2013

. Dezembro 2012

. Novembro 2012

. Outubro 2012

. Setembro 2012

. Junho 2012

. Maio 2012

. Abril 2012

. Março 2012

. Fevereiro 2012

. Novembro 2011

. Outubro 2011

. Setembro 2011

. Agosto 2011

. Julho 2011

. Junho 2011

. Maio 2011

. Abril 2011

. Março 2011

. Fevereiro 2011

. Janeiro 2011

. Dezembro 2010

. Novembro 2010

. Outubro 2010

. Setembro 2010

. Junho 2010

. Maio 2010

. Abril 2010

. Dezembro 2009

. Novembro 2009

. Outubro 2009

. Setembro 2009

. Maio 2009

. Abril 2009

. Março 2009

. Fevereiro 2009

. Outubro 2008

. Julho 2008

. Junho 2008

. Março 2008

. Fevereiro 2008

. Outubro 2007

. Junho 2007

. Fevereiro 2007

. Janeiro 2007

. Dezembro 2006

. Novembro 2006

. Outubro 2006

. Setembro 2006

. Junho 2006

. Maio 2006

. Abril 2006

. Março 2006

. Fevereiro 2006

. Dezembro 2005

. Novembro 2005

. Outubro 2005

. Junho 2005

. Maio 2005

. Março 2005

. Fevereiro 2005

. Janeiro 2005

. Novembro 2004

. Outubro 2004

. Junho 2004

. Maio 2004

. Abril 2004

blogs SAPO