Imagine um mundo em que algoritmos artificialmente inteligentes tomem decisões que afetam sua vida cotidiana. Agora, imagine que eles são preconceituosos.
Este é o mundo em que já estamos vivendo, diz a cientista de dados, PhD em Harvard e autora Cathy O'Neil. (Leia a primeira parte de nossa discussão com o Dr. O'Neil aqui). Nos reunimos com o indicado ao National Book Award para descobrir o que podemos fazer sobre o preconceito na era do big data. CT: A IA é prejudicada?
CO: Todo algoritmo que não tenha sido explicitamente justificado deve ser considerado preconceituoso. Porque, como pessoas, somos preconceituosos. Se reconhecemos isso e estamos criando esses algoritmos com nossos valores e nossos dados, não devemos assumir que algo aconteceu magicamente para tornar as coisas justas. Não há mágica lá.
CT: Onde os algoritmos obtêm seus dados?
CO: Depende do algoritmo. Às vezes, as mídias sociais, para coisas como segmentação de mercado político ou publicidade ou faculdades com fins lucrativos e empréstimos predatórios - mas muitos dados não estão sendo coletados nas mídias sociais ou mesmo on-line.
A coleta de dados está cada vez mais ligada à vida real, como conseguir um emprego, trabalhar no seu trabalho, ir para a faculdade ou para a prisão. Essas coisas não são coisas que podemos contornar com as leis de privacidade. São questões de poder, onde as pessoas que são alvo dos algoritmos não têm poder, e as pessoas que estão coletando informações e construindo e implantando os algoritmos têm todo o poder. Você não tem nenhum direito de privacidade se for um réu criminal, não possui nenhum direito de privacidade no seu trabalho e não tem muito em termos de direitos de privacidade se estiver se candidatando a um emprego porque se você não responder às perguntas que seu futuro empregador fez, provavelmente não conseguirá o emprego.
Deveríamos pensar menos em privacidade e mais em poder quando se trata de algoritmos e dos danos que eles podem causar.
CT: O que podemos fazer para melhorar?
CO: Podemos reconhecer que esses algoritmos não são inerentemente perfeitos e testá-los quanto a suas falhas. Deveríamos ter auditorias e monitores em andamento - especialmente para decisões importantes, como contratação, sentença criminal ou avaliação de pessoas em seus empregos - para garantir que os algoritmos estejam agindo da maneira que queremos, e não de maneira discriminatória ou injusta.
Ailsa Johnson / © Viagem de Cultura
CT: Quais são os melhores e os piores cenários para o futuro orientado a dados?
CO: O pior cenário é o que temos agora - que todos esperamos cegamente que os algoritmos sejam perfeitos, mesmo que já devêssemos saber melhor. E propagamos injustiças e injustiças do passado. E continuamos ignorando as falhas desses algoritmos.
O melhor cenário é reconhecer que esses algoritmos não são inerentemente melhores que os humanos. Decidimos o que queremos como humanos, pelo que estamos nos esforçando. Como queremos que a sociedade pareça e ensinamos esses valores. Se fizermos isso com sucesso, esses algoritmos podem ser melhores que os humanos.
CT: Que papel as pessoas comuns podem desempenhar?
CO: O papel mais importante que um indivíduo pode desempenhar é não confiar implicitamente em nenhum algoritmo. Ter uma enorme quantidade de ceticismo. Se você estiver sendo avaliado em um algoritmo, pergunte: 'Como sei que é justo, como sei que é útil, como sei que é preciso? Qual é a taxa de erro? Para quem esse algoritmo falha? Falhar com mulheres ou minorias? Faça esse tipo de pergunta.
A segunda coisa, além do ceticismo, é que, se você acha que um algoritmo está sendo injusto com você ou com outras pessoas, é se organizar com essas outras pessoas. Um exemplo recente são os professores. Os modelos estatísticos sobre professores de valor agregado são terríveis, geradores de números quase aleatórios. Mas eles estavam sendo usados para decidir quais professores deveriam ser titulares e quais deveriam ser demitidos em todo o país.
Minha sugestão é que eles consigam seu sindicato. E isso aconteceu em alguns lugares. Mas é surpreendente como houve pouca resistência devido à natureza matemática do sistema de pontuação.
CT: Como você entrou no 'big data'?
CO: Eu trabalhei em Wall Street e testemunhei a crise financeira por dentro. Fiquei com nojo da maneira como a matemática era usada para tirar proveito das pessoas ou para enganar as pessoas. Vi o tipo de dano que poderia advir de mentiras matemáticas, o que chamo de "armamento da matemática".
Decidi me afastar, então entrei no Occupy Wall Street e comecei a trabalhar como cientista de dados. Eu percebi lentamente que estávamos vendo um hype falho e enganoso em torno de algoritmos de dados enganosos acontecendo fora de Wall Street também, e que isso causaria muitos danos. A diferença era que, enquanto pessoas de todo o mundo notavam a crise financeira, eu não achava que as pessoas notariam as falhas desses algoritmos de big data, porque elas geralmente acontecem no nível individual.
Leia a primeira parte de nossa discussão com o Dr. O'Neil aqui. O livro da Dra. Cathy O'Neil, As Armas da Destruição Matemática: Como o Big Data Aumenta a Desigualdade e Ameaça a Democracia, já está disponível.
