Usando A.I. encontrar vieses em I.A.

Em 2018, Liz O’Sullivan e seus colegas em uma importante startup de inteligência artificial começaram a trabalhar em um sistema que pudesse remover automaticamente a nudez e outras imagens explícitas da Internet.

Eles enviaram milhões de fotos online para trabalhadores na Índia, que passaram semanas adicionando etiquetas a materiais explícitos. Os dados emparelhados com as fotos seriam usados ​​para ensinar AI. Programas como reconhecer imagens indecentes. Mas assim que as fotos foram marcadas, O’Sullivan e sua equipe perceberam um problema: os trabalhadores indianos classificaram todas as imagens de casais do mesmo sexo como indecentes.

Para O’Sullivan, o momento mostrou com que facilidade e frequência o preconceito pode se infiltrar na inteligência artificial. Foi um “jogo cruel de Whac-a-Mole”, disse ele.

Este mês, a Sra. O’Sullivan, uma nova-iorquina de 36 anos, foi nomeada CEO de uma nova empresa, a Parity. A startup é uma entre muitas organizações, incluindo mais de uma dúzia de startups e alguns dos maiores nomes da tecnologia, que oferecem ferramentas e serviços projetados para identificar e eliminar o preconceito da inteligência artificial. sistemas.

Em breve, as empresas podem precisar dessa ajuda. Em abril, a Federal Trade Commission avisou contra a venda da A.I. sistemas com preconceito racial ou que poderiam impedir as pessoas de receber emprego, moradia, seguro ou outros benefícios. Uma semana depois, a União Europeia divulgou um projeto de regulamento que poderia punindo empresas por oferecerem tal tecnologia.

Não está claro como os reguladores podem controlar o viés. Na semana passada, o Instituto Nacional de Padrões e Tecnologia, um laboratório de pesquisa do governo cujo trabalho costuma informar a política, divulgou um proposta detalhando como as empresas podem combater vieses em inteligência artificial, incluindo mudanças na forma como a tecnologia é concebida e construída.

Muitos na indústria de tecnologia acreditam que as empresas devem começar a se preparar para uma ofensiva. “Algum tipo de legislação ou regulamentação é inevitável”, disse Christian Troncoso, diretor sênior de política legal da Software Alliance, um grupo comercial que representa algumas das maiores e mais antigas empresas de software. “Cada vez que há uma dessas histórias terríveis sobre inteligência artificial, a confiança e a fé do público são destruídas.”

Nos últimos anos, estudos têm mostrado que serviços de reconhecimento facial, sistemas de saúde e até mesmo falando em assistentes digitais pode ter preconceito contra mulheres, pessoas de cor e outros grupos marginalizados. Em meio a um coro crescente de reclamações sobre o problema, alguns reguladores locais já tomaram medidas.

No final de 2019, reguladores do estado de Nova York abriu uma investigação do UnitedHealth Group depois que um estudo descobriu que um algoritmo usado por um hospital priorizou o atendimento a pacientes brancos em vez de negros, mesmo quando os pacientes brancos eram mais saudáveis. Ano passado, o estado investigou o serviço de crédito do Apple Card depois afirma que ele discriminou as mulheres. Os reguladores determinaram que Goldman Sachs, que operava o cartão, não discriminou, embora o status da investigação da UnitedHealth não seja claro.

Um porta-voz da UnitedHealth, Tyler Mason, disse que o algoritmo da empresa foi mal utilizado por um de seus parceiros e não tinha preconceito racial. A Apple não quis comentar.

Mais de US $ 100 milhões foram investidos nos últimos seis meses em empresas que exploram questões éticas relacionadas à inteligência artificial, ante US $ 186 milhões no ano passado, de acordo com a PitchBook, uma empresa de pesquisa que monitora a atividade financeira.

Mas os esforços para resolver o problema chegaram a um ponto crítico neste mês, quando a Software Alliance ofereceu uma estrutura detalhada para combater o preconceito na inteligência artificial, incluindo o reconhecimento de que algumas tecnologias automatizadas requerem monitoramento regular por humanos. O grupo comercial acredita que o documento pode ajudar as empresas a mudar seu comportamento e pode mostrar aos reguladores e legisladores como controlar o problema.

Embora tenham sido criticados por preconceitos em seus próprios sistemas, Amazon, IBM, Google e Microsoft também oferecem ferramentas para combatê-los.

O’Sullivan disse que não havia uma solução simples para os preconceitos em IA. Uma questão mais espinhosa é que alguns na indústria se perguntam se o problema é tão disseminado ou prejudicial quanto ela pensa.

“A mudança de mentalidade não acontece da noite para o dia, e isso é ainda mais verdadeiro quando se trata de grandes negócios”, disse ele. “Você está tentando mudar não apenas a mente de uma pessoa, mas de muitas mentes.”

Quando ele começou a aconselhar empresas sobre a I.A. preconceito há mais de dois anos, a Sra. O’Sullivan costumava ser saudada com ceticismo. Muitos executivos e engenheiros defenderam o que chamaram de “justiça por ignorância”, argumentando que a melhor maneira de construir tecnologia eqüitativa era ignorar questões como raça e gênero.

Cada vez mais, as empresas criavam sistemas que aprendiam tarefas por meio da análise de grandes quantidades de dados, incluindo fotos, sons, texto e estatísticas. A crença era que, se um sistema aprendesse com o máximo de dados possível, a justiça seria seguida.

Mas, como O’Sullivan viu após a marcação na Índia, o preconceito pode se infiltrar em um sistema quando os designers escolhem os dados errados ou os classificam da maneira errada. Estudos mostram que os serviços de reconhecimento facial podem ser tendenciosos contra mulheres e pessoas de cor quando treinados em coleções de fotografias dominadas por homens brancos.

Os designers podem ignorar esses problemas. Trabalhadores na Índia, onde as relações gays ainda eram ilegais na época e onde as atitudes em relação aos gays e lésbicas eram muito diferentes daquelas dos Estados Unidos, classificaram as fotos como acharam melhor.

A Sra. O’Sullivan viu as falhas e armadilhas da inteligência artificial enquanto trabalhava para a Clarifai, a empresa que liderava o projeto de rotulagem. Ele disse que havia deixado a empresa depois de perceber que estava construindo sistemas para os militares que ele acreditava que poderiam eventualmente ser usados ​​para matar. O Clarifai não respondeu a um pedido de comentário.

Ele agora acredita que depois de anos de reclamações públicas sobre preconceito na A.I. – para não falar da ameaça de regulamentação – as atitudes estão mudando. Em sua nova estrutura para conter preconceitos prejudiciais, a Software Alliance alertou contra a justiça por ignorância, dizendo que o argumento não se sustentava.

“Eles estão reconhecendo que você precisa virar as pedras e ver o que está por baixo”, disse O’Sullivan.

Mesmo assim, existe resistência. Ele disse que um confronto recente no Google onde dois pesquisadores de ética foram expulsos, foi um indicativo da situação em muitas empresas. Os esforços para combater o preconceito muitas vezes colidem com a cultura corporativa e o impulso implacável de construir novas tecnologias, divulgá-las e começar a ganhar dinheiro.

Também é difícil saber a gravidade do problema. “Temos muito poucos dados necessários para modelar os problemas mais amplos de seguridade social com esses sistemas, incluindo preconceitos”, disse Jack Clark, um dos autores do A.I. Índice, um esforço para rastrear I.A. tecnologia e política em todo o mundo. “Muitas das coisas que importam para a pessoa média, como a justiça, ainda não estão sendo medidas de forma disciplinada ou em grande escala.”

A Sra. O’Sullivan, uma estudante de filosofia na universidade e membro da American Civil Liberties Union, está construindo seu negócio em torno de uma ferramenta projetada por Rumman Chowdhury, um conhecido A.I. Pesquisador de ética que passou anos na consultoria de negócios Accenture antes de entrar no Twitter.

Enquanto outras startups, como Fiddler A.I. e Pesos e Vieses, oferecem ferramentas para monitorar a I.A. serviços e identificando comportamentos potencialmente tendenciosos, a tecnologia Parity visa analisar os dados, tecnologias e métodos que uma empresa usa para desenvolver seus serviços e, em seguida, identificar áreas de risco e sugerir mudanças.

A ferramenta usa tecnologia de inteligência artificial. que pode ser tendencioso por si só, mostrando a natureza de dois gumes do I.A. – e a dificuldade do dever de casa da Sra. O’Sullivan.

Ferramentas que podem identificar vieses em I.A. são imperfeitos, assim como I.A. é imperfeito. Mas o poder de tal ferramenta, disse ele, é identificar problemas potenciais, fazer as pessoas olharem de perto para o problema.

Em última análise, explicou ele, o objetivo é criar um diálogo mais amplo entre pessoas com uma ampla gama de pontos de vista. O problema surge quando o problema é ignorado ou quando aqueles que discutem as questões têm o mesmo ponto de vista.

“Você precisa de perspectivas diversas. Mas você pode obter perspectivas verdadeiramente diversas em uma empresa? A Sra. O’Sullivan perguntou: “É uma pergunta muito importante que não tenho certeza se posso responder.”