Notícias perturbadoras II - já somos dominados pela IA e os algoritmos decidem da nossa vida de uma maneira kafkiana

 

Os algoritmos,  armadilhas que põem pessoas na pobreza

Um grupo de advogados estão a descobrir , denunciar e lutar contra os sistema automatizados que negam aos pobres casas, empregos e serviços básicos.  

by Karen Hao

(...)

Miriam é uma sobrevivente do que é conhecido como "dívida coagida", uma forma de abuso geralmente perpetrada por um parceiro íntimo ou membro da família. Embora o abuso económico seja um problema antigo, o banco digital tornou mais fácil abrir contas e fazer empréstimos em nome da vítima, diz Carla Sanchez-Adams, advogada do Texas RioGrande Legal Aid. Na era dos algoritmos de pontuação de crédito automatizados, as repercussões também podem ser muito mais devastadoras.

As pontuações de crédito são usadas há décadas para avaliar a qualidade de crédito do consumidor, mas o seu escopo é muito maior agora que são movidos por algoritmos: não apenas consideram muito mais dados, tanto em volume quanto em tipo, como afetam cada vez mais a possibilidade de comprar carro, alugar um apartamento ou conseguir um emprego a tempo inteiro. 

A sua influência abrangente significa que, se a sua pontuação for arruinada, pode ser quase impossível recuperá-la. Pior ainda, os algoritmos são propriedade de empresas privadas que não divulgam como tomam as suas decisões. As vítimas podem ser enviadas numa espiral descendente que às vezes termina na falta de casa ou no retorno ao agressor. 

 Os algoritmos de pontuação de crédito não são os únicos que afetam o bem-estar económico das pessoas e o acesso aos serviços básicos. Os algoritmos agora decidem quais crianças que vão para um orfanato, quais os pacientes que  recebem cuidados médicos, quais famílias têm acesso a uma moradia estável. 

Aqueles de nós com recursos podemos passar as nossas vidas sem saber de nada disso. Mas para indivíduos de baixa renda, o rápido crescimento e adopção de sistemas automatizados de decisão criaram uma teia oculta de armadilhas interligadas.

Basicamente, tudo quanto é advogado civil está a começar a ter que lidar com isso, porque todos os nossos clientes estão, de uma maneira ou de outra, sendo afectados por esses sistemas”, diz Michele Gilman, professora de direito clínico na Universidade de Baltimore. “Precisamos de nos treinar. Se quisermos ser realmente bons advogados holísticos, precisamos estar cientes disso. ”

Gilman não se lembra exatamente quando percebeu que algumas decisões de elegibilidade estavam a ser feitas por algoritmos, mas quando essa transição começou a acontecer, raramente era óbvia. Certa vez, representava um cliente idoso com deficiência que inexplicavelmente tinha sido excluído da sua assistência médica domiciliar financiada pelo Medicaid. 

“Não conseguíamos descobrir o motivo”, lembra Gilman. "Ele estava ficando cada vez mais doente e, normalmente, se você ficar doente, terá mais horas, não menos." Só quando estavam no tribunal no meio de uma audiência, é que a testemunha representando o Estado revelou que o governo acabara de adoptar um novo algoritmo. A testemunha, uma enfermeira, não sabia explicar nada sobre esse assunto. 

'Ela é uma enfermeira, não uma cientista da computação. Ela não sabia responder quais factores estão envolvidos nessas decisões, como é ponderado, quais são os resultados que está procurando... Então, quem vou eu interrogar sobre o assunto? ‘Ou vou interrogar um algoritmo?'

Para Kevin De Liban, advogado do Legal Aid of Arkansas, a mudança foi igualmente insidiosa. 

Em 2014, o seu Estado também instituiu um novo sistema de distribuição de assistência domiciliar financiada pelo Medicaid, eliminando toda uma série de pessoas que anteriormente eram elegíveis. 

Na altura, ele e os seus colegas não conseguiram identificar a raiz do problema. Só sabiam que algo estava diferente. 

"Vimos que houve uma mudança nos sistemas de avaliação de um questionário em papel com 20 perguntas que passou para um questionário eletrónico de 283 perguntas”, diz ele.

Dois anos depois, quando um erro no algoritmo o colocou novamente sob escrutínio legal, De Liban finalmente chegou ao fundo da questão: percebeu que as enfermeiras diziam aos pacientes: "Bem, o computador é que fez isso - não fui eu." “Foi isso que nos deu a dica”, diz ele. “Se eu soubesse, em 2014, o que soube em 2016, provavelmente teria feito um trabalho melhor de advocacia.

“Uma pessoa passa tantos sistemas no dia-a-dia” 

Desde então, Gilman ficou muito mais experiente. De seu ponto de vista, representando clientes com uma variedade de problemas, observou o surgir e a colisão de duas redes algorítmicas. 

O primeiro consiste em algoritmos de relatórios de crédito, como os que capturaram Miriam, que afetam o acesso a bens e serviços privados, como carros, casas e empregos. A segunda engloba algoritmos adoptados por agências governamentais que afetam o acesso a benefícios públicos, como assistência médica, desemprego e serviços de pensão alimentícia. 

No lado dos relatórios de crédito, o crescimento dos algoritmos foi impulsionado pela proliferação de dados, que estão mais fáceis do que nunca de colectar e compartilhar. Os relatórios de crédito não são novos, mas actualmente a sua pegada é muito mais ampla. As agências de informação ao consumidor, incluindo agências de crédito, empresas de triagem de inquilinos ou serviços de verificação de cheques, reúnem essas informações de uma ampla gama de fontes: registros públicos, mídia social, navegação na web, atividade bancária, uso de aplicativos e muito mais. Os algoritmos então atribuem pontuações de “valor” às pessoas, que figuram em verificações de antecedentes realizadas por credores, empregadores, proprietários e até escolas.

As agências governamentais, por outro lado, são levadas a adoptar algoritmos quando desejam modernizar os seus sistemas. O impulso para adoptar aplicativos baseados na web e ferramentas digitais começou no início de 2000 e continuou com uma mudança em direcção a sistemas automatizados e IA mais orientados por dados. Existem boas razões para buscar essas mudanças. Durante a pandemia, muitos sistemas de seguro-desemprego tiveram dificuldade em lidar com o grande volume de novos pedidos, levando a atrasos significativos. Modernizar esses sistemas promete resultados mais rápidos e confiáveis.

Mas o processo de aquisição de software raramente é transparente e, portanto, carece de responsabilidade. As agências públicas geralmente compram ferramentas automatizadas de tomada de decisão directamente de fornecedores privados. O resultado é que, quando os sistemas falham, os indivíduos afetados - e seus advogados - ficam no escuro. “Não anunciam em lugar nenhum”, diz Julia Simon-Mishel, advogada da Philadelphia Legal Assistance. 

“Muitas vezes não é escrito em nenhum tipo de guia de política ou manual de política. Estamos em desvantagem. ” A falta de verificação pública também torna os sistemas mais sujeitos a erros. Uma das avarias mais flagrantes aconteceu em Michigan em 2013. Após um grande esforço para automatizar o sistema de benefícios de desemprego do Estado, o algoritmo sinalizou incorretamente mais de 34.000 pessoas por fraude. “Isso causou uma enorme perda de benefícios”, diz Simon-Mishel. “Houve falências; infelizmente também houve suicídios. Foi um caos."

Ela cita um caso atual na sua clínica como exemplo. Um membro da família perdeu o trabalho por causa da pandemia e foi-lhe negado o seguro-desemprego por causa de uma falha no sistema automatizado. A família então atrasou o pagamento do aluguer, o que levou o proprietário a processá-los por despejo. Embora o despejo não seja legal por causa da moratória do CDC, o processo ainda será registrado em registros públicos. Esses registros poderiam, então, alimentar algoritmos de triagem de inquilinos, o que tornaria mais difícil para a família encontrar uma moradia estável no futuro. O não pagamento do aluguer e dos serviços públicos também pode afetar a sua pontuação de crédito, o que mais uma vez tem repercussões. “Se eles estão a tentar abrir um serviço, fazer um empréstimo, comprar um carro ou candidatar-se a um emprego, isso tem esses inúmeros efeitos em cascata”, diz Gilman.

(...)