Falar de cometer fraude (cabular) como se fosse um novo modo alternativo de trabalho que deve ser integrado na avaliação de aprendizagens

 

A conclusão deste artigo não faz sentido. Vejamos: 

1. Usar o ChatGPT para fazer trabalhos e testes de avaliação de aprendizagens é fraude e os alunos sabem disso. Não é como se a fraude, o plágio, fossem invenções recentes. Ainda ontem li que a ministra da saúde plagiou um programa de estudos. Antes de haver telemóveis e ChatGPT, os alunos faziam cábulas. É a mesma intenção de enganar (porque não se estudou), só que a cábula ainda implica algum trabalho por parte do aluno, quanto o ChatGPT só implica eficiência na capacidade de enganar.

2. Uma quantidade de alunos crescente cometerá fraude para obter melhores notas, se o ambiente for permissivo e virem outros terem recompensas por cometer fraude ao mesmo tempo que se vêem prejudicados por serem honestos.

3. As respostas feitas pela IA têm melhores notas porque, mesmo os alunos muito bons, cometem algum erro de linguagem, seja gramatical ou se sintaxe, ao passo que a aplicação de IA não comete esses erros e produz textos mais limpos. 

Num nível de escolaridade como o básico ou o secundário, em todas as disciplinas que têm respostas que implicam uso de linguagem informal, a fraude é detectável porque a diferença entre a linguagem dos alunos e a da IA é abissal, em termos de sofisticação de vocabulário, concatenação de ideias, correcção gramatical, etc. Mais ainda, porque eles nem sequer têm noção dessa diferença dar imediatamente nas vistas e a maioria nega o óbvio - imagine-se um aluno que todos os dias escreve e fala, nas aulas, como um imigrante de um país longínquo que está aqui há 6 meses e no dia do teste, miraculosamente, escreve como o Padre António Vieira. 

Hoje-em-dia acontece muito, infelizmente, trazerem fichas de trabalho inteiramente feitas por um explicador que escreve com a sua linguagem, de maneira que vemos logo que aquilo não foi feito pelo aluno. No futuro substituem o explicador pela IA com a mesma intenção de ter boas notas sem terem que esforçar-se a aprender. 

Porém, numa disciplina como a matemática ou a física -ou a lógica na filosofia- que vivem sobretudo de demonstrações formais, a fraude pode ser difícil de detectar. Nas universidades é mais difícil de perceber estas coisas porque os professores não se sentam à volta de uma mesa a falar sobre cada aluno, não comparam informações e, em geral, partem do princípio que os alunos têm outro nível de linguagem.

Aqui há uns anos, na reunião de notas do 1º período, reparámos que um aluno tinha 18s a matemática e 9s a biologia, a física, na lógica e notas à volta do 10 na maioria das disciplinas. Esta incoerência é logo muito estranha e dá nas vistas. Fomos ver a ficha dos anos anteriores no básico. Era um aluno que tinha passado com negativa a matemática, tinha tirado 10% no exame de matemática do 9º ano, tinha passado com negativa a física. O professor ficou de sobreaviso e no 2º período mudou a maneira de avaliar de maneira a que não pudessem copiar. Descobriu que o aluno tinha o telemóvel ligado durante os testes e o explicador resolvia os testes via WhatsApp. Na realidade, aquele aluno de falsos 18s, não era capaz de resolver os problemas mais simples.

Ora, isto é equivalente a usar o ChatGPT, de maneira que a conclusão deste artigo, temos de integrar a IA nas avaliações que fazemos aos estudantes, é o mesmo que dizer, temos que integrar a fraude e a desonestidade dos alunos e seus explicadores na avaliação dos alunos. De que servia àquele aluno usar a IA e levar o professor a pensar que não precisava de ajuda e que estava à vontade nos conhecimentos e técnicas? E que ganharia o aluno, em termos de aprendizagem, com a fraude, para além de uma boa nota no imediato? 

4. Os alunos não só não aprendem nada com as fraudes, sejam da IA, sejam do explicador, como o ChatGPT, em si mesmo, é um impedimento ao avanço qualitativo dos conhecimentos, dado que não cria novos conhecimentos, apenas varre a internet e «vomita» a resposta média, provável, a uma certa questão. É como a Wikipédia, só que muito mais sofisticada e completa.

5. Portanto, a IA é uma ferramenta muito interessante e útil no sentido de ter acesso rápido a certas informações. Por exemplo, uma equipa de investigadores do cancro, vamos supor, em vez de levar 20 anos a analisar e interpretar informação de todos os doentes e tratamentos no mundo inteiro para perceber se naqueles dados há um caminho possível de tratamento melhor, põe o ChatGPT a analisar os dados e tem essa informação em 1 ano. Mas essa informação só é útil se os investigadores souberem o que fazer com ela em termos de conhecimento e do seu enquadramento no problema.

6.  A informação da IA não é evolutiva, é cumulativa, de maneira que não é formativa. Todos os avanços na civilização humana global foram de saltos evolutivos qualitativos e não meramente cumulativos. Ora, os alunos estão nas escolas/universidades, num percurso formativo onde o processo de aprendizagem individual deve ser construído ao mesmo tempo que a interiorização de conteúdos (as duas realidades estão ligadas) e não deformado por substitutos. 

Posso imaginar um futuro em que não tenho que mexer um músculo. Uma máquina inteligente levanta-me e leva-me ao colo à casa-de-banho, põe-me no duche, lava-me, depois leva-me a tomar o pequeno almoço (leva-me a comida à boca), depois leva-me até ao trabalho (que pode ser uma secretária em casa) e faz todo o meu trabalho por mim, inclusivé escrever, só falo - ou a máquina fala por mim. Se quero ter um filho, uma máquina inteligente tira-me um óvulo que fertiliza num laboratório e trata de fazer o feto crescer e depois toma conta dele e educa-o... etc. A única evolução que vejo aqui é a de os humanos serem completamente dispensáveis.

7. A IA não tem lugar na avaliação de alunos em formação. Pode ter lugar como uma ferramenta controlada pelo professor, em aula, para certas actividades em que o fim seja a busca de informação de conteúdos ou técnicas para depois serem trabalhados sem ela, mas não pode substituir a aprendizagem que transforma a mente e desenvolve os seus recursos e ferramentas interiores. Hoje-em-dia, as máquinas de calcular estão reguladas de maneira que nos exames e nos testes, têm se ser postas em, 'modo de exame', o que significa que bloqueiam e limitam a sua operacionalidade de maneira que os alunos não possam usá-la para se escusarem ao raciocínio individual pondo a máquina a pensar por si.

8. Por outro lado, penso que devia haver nas escolas um ensinamento de como detectar fraudes e fake news digitais. Nós, professores, mostramos a diferença que há, na internet -em termos de rigor, credibilidade, fundamentação e complexidade-, entre ir ao google ou à Wikipédia procurar um significado de uma palavra ou um conteúdo e ir buscá-los a uma enciclopédia credível, online. Como detectamos se um site é credível quanto às informações, etc. Mas isso são procedimentos de metodologia que alguns de nós fazemos porque entendemos que é importante e não por ser obrigatório abordar esses tema. A IA é muito útil, mas se só serve para entreter e copiar...

Os trabalhos do ChatGPT estão a ter as melhores notas. Os professores já não distinguem

Num novo estudo, 94% das respostas a exames universitários, criadas com o ChatGPT, não foram detetadas como tendo sido geradas por IA. Estas respostas tendiam a obter pontuações mais elevadas do que os trabalhos de alunos reais.

A investigação abrangeu respostas a 63 perguntas – de resposta curta e longa – de avaliação em cinco módulos dos cursos da licenciatura em psicologia da Universidade de Reading (Reino Unido).

Os alunos fizeram estes exames em casa, tendo-lhes sido permitido consultar notas e referências, embora o uso de IA fosse proibido.

Os resultados da investigação, publicados esta quarta-feira na PLoS One, revelaram que 94% das respostas a exames universitários criadas pelo ChatGPT passaram como tendo sido dadas pelos alunos.

Como detalha a New Scientist, surpreendentemente apenas 6% das respostas de IA foram consideradas suspeitas de não serem trabalho autêntico do aluno; e nalguns módulos, nenhuma resposta gerada por IA foi marcada como tal.

Apesar de ter sido um estudo focado apenas no curso de psicologia, a equipa de investigação acredita que este é uma preocupação de todo o sector académico: “Não tenho razões para pensar que outras áreas disciplinares não tenham o mesmo tipo de problema”, disse Peter Scarfe.

O investigador diz que combater o problema na origem vai ser quase impossível. Por isso, convida também o sector a reavaliar a forma como avalia os estudantes: “Penso que será necessário que o sector, no seu conjunto, reconheça o facto de que temos de integrar a IA nas avaliações que fazemos aos estudantes“

------------------

Estes vídeos de IA são giros e entretêm, mas não formaram o pensamento de quem os fez, apenas a sua perícia técnica. A perícia técnica tem lugar próprio em muitas áreas do conhecimento e actividade humanas mas não na avaliação de aprendizagens, a não ser que a avaliação seja sobre, 'Perícia Técnica na Produção de Imagens Modificadas'. Isto não é Arte, é Artifício.