Uso de “algoritmos caixa-preta” levantam controvérsia. Devemos usar máquinas que “pensam” sem que saibamos exatamente como?

A ameaça dos computadores insurgentes que renderam à literatura e ao cinema ótimas histórias, todas envolvendo a humanidade posta em risco pela rebeldia de suas criações, não é realidade. Pelo menos ainda.

Mas outra questão envolvendo a Inteligência Artificial (IA) tem provocado um grande dilema: muitos dos sistemas de machine learning, modalidade que abrange as máquinas capazes de aprender, são verdadeiras caixas-pretas. Falamos disso em outro artigo.

Enquanto a maioria dos softwares são codificados com lógica programável, ou seja, respondem conforme os parâmetros determinados por seus programadores, não é possível saber exatamente qual é o processo pelo qual alguns algoritmos de IA passam até que cheguem às suas conclusões.

As convolutional neural networks (redes neurais convolucionais) são um exemplo. Com seus neurônios artificiais conectados de forma a tentar mimetizar a estrutura de um cérebro humano, é difícil acompanhar e “enxergar” o que se dá nelas. Rápidas e complexas, elas complicam a vida de quem quer quer compreendê-las. Resta aos curiosos analisar seus resultados e, por inferência, supor o processo. Daí o motivo de muitos especialistas se posicionarem como contrários ao uso de algoritmos caixa-preta, ou ao menos preocupados com algumas das consequências de seu uso.

Elizabeth Holm, professora de ciência e engenharia de materiais na Universidade Carnegie Mellon, posiciona-se favoravelmente ao uso desses recursos. Primeiramente ela ressalta que, tal qual nesses sistemas, alguns processos do pensamento humano também são insondáveis. Não raro confiamos em resultados de pensamentos que não podemos descrever ou explicar, por exemplo, e que nem por isso são necessariamente ruins ou prejudiciais. Para ela, o que vale para os humanos, nesse caso, deve valer também para a máquina.

Seus argumentos seguem em torno de três regras, estabelecidas por ela. A primeira, a mais simples, determina que se o custo de uma decisão ruim é pequeno e, por sua vez, o valor de uma decisão acertada é alto, vale a pena usar.

No segundo caso, mesmo com custos altos, vale a pena usar essas caixas-pretas quando é a melhor opção para fazer determinado trabalho. Um exemplo são os algoritmos utilizados em carros autônomos, que certamente serão condutores melhores que os humanos, mas que ainda assim, se houver falha em seus processos, podem causar graves acidentes.

A terceira situação em que se justifica o uso dos black box algorithms é quando a máquina é capaz de fazer algo de maneira diferente que os humanos, ou mesmo coisas das quais não somos capazes. Aí a decisão se aproxima da opção entre fazer ou não fazer algo, entre avançar ou não em algum aspecto.

Para Andrew McAfee, especialista em machine learning e automação, impor barreiras regulatórias para o uso de caixas-pretas na IA e exigir altos níveis de interpretabilidade nos sistemas poderia retardar o progresso da tecnologia.

Há, porém, muitos outros que defendem que esse progresso não pode vir a qualquer custo. Se não é possível entender exatamente como o sistemas caixa-preta funcionam e quais parâmetros utilizam, fica mais fácil duvidar deles ou perder a confiança neles.

A IBM, gigante no setor tecnológico, respondeu a essa corrente disponibilizando na nuvem, um serviço que torna visíveis os parâmetros de IA dos sistemas da empresa e permite a detecção de vieses durante seu funcionamento. Dados de um relatório elaborado pelo Institute for Business Value, vinculado à corporação, mostraram que 82% das empresas observadas consideram implementar IA em seus processos, mas delas 60% ainda têm receio quanto a questões de responsabilidade e compliance e 63% não dispõem de recursos humanos e/ou tecnológicos adequados para incorporar a tecnologia de forma confiável.

A ideia é que a ferramenta seja aplicável também a outros modelos, ambientes e sistemas tais como Tensorflow, Watson, AWS SageMaker, AzureMA e SparkML e seja personalizável para sistemas internos das organizações. Ela permite a entrada de dados para complementar ao modelo para diminuir a tendência de viés e mostra o caminho da tomada de decisões enquanto em execução.

Além disso, já inclui parâmetros que atendem a padrões de conformidade e regulação, como é o caso do GDPR (Regulamento Geral sobre a Proteção de Dados, implementado pela União Europeia). A companhia também vai disponibilizar ferramentas open source e materiais que fomentem a colaboração da comunidade tecnológica em torno do assunto.

É fato que a evolução não pára e a IA veio para ficar de vez, e provavelmente questões como essa, de ordem prática e ética, se sucederão. A controvérsia dos algoritmos caixa-preta é uma das bolas da vez.