Um sistema de IA “black box”, também conhecido como “caixa-preta”, é uma característica de modelos de IA que apresentam opacidade, ou seja, não se compreende exatamente como o sistema opera internamente. Antes de definir o que é um sistema “black box”, vale definir o que se entende por sistemas de inteligência artificial.

Um sistema de inteligência artificial é um software projetado para realizar tarefas que normalmente requerem inteligência humana. Esses sistemas são construídos usando algoritmos e modelos matemáticos complexos que permitem que eles aprendam com dados, tomem decisões e resolvam problemas. Dentre as diversas técnicas existentes, uma das mais utilizadas é o aprendizado de máquina.

A partir da definição do que se compreende por inteligência artificial, é necessário conhecer o ciclo de vida da IA e em que parte do ciclo o sistema se torna opaco. Segundo a OECD, as fases do ciclo de vida são:

As fases do ciclo de vida do sistema de IA envolvem: i) concepção, dados e modelos; ii) verificação e validação; iii) implantação e iv) operação e monitoramento. Essas fases geralmente ocorrem de maneira iterativa e não são necessariamente sequenciais.

A partir do problema que se quer resolver com o uso de uma IA (concepção), são escolhidos os dados disponíveis e que serão usados para treinamento (dados). Com o problema definido e tipos de dados que serão usados, alguns grupos de técnicas podem ser recomendados. Há uma variedade de algoritmos que podem ser usados e alguns podem gerar modelo matemáticos mais opacos e outros mais transparentes. Alguns tipos de técnicas podem ser verificadas abaixo (Fonte GitHub).

Com os dados selecionados para treinamento e técnica escolhida, ao aplicar os dados no algoritmo escolhido é obtido um modelo matemático. Este modelo matemático está preparado para tomar decisões específicas a partir de determinadas variáveis de entrada. A escolha do algoritmo vai influenciar diretamente no nível de transparência ou opacidade do modelo matemático obtido. Os autores David e Gunning (2019) ilustram bem a comparação entre um modelo opaco (primeira linha) e transparente (segunda linha).

Portanto, sistemas de IA “black box” são sistemas de inteligência artificial cujo funcionamento interno é opaco e difícil de compreender ou interpretar. Nesses sistemas, as decisões e resultados são gerados por algoritmos complexos, muitas vezes redes neurais ou de aprendizado profundo, tornando difícil para os usuários ou mesmo para os próprios desenvolvedores entender como uma decisão específica foi obtida. A razão para utilizar algoritmos que irão resultar em modelos matemáticos opacos se dá pelo desempenho superior em tarefas complexas, onde a intuição humana pode ser superada. Por exemplo, as redes neurais profundas (deep learning) podem analisar grandes conjuntos de dados e identificar padrões sutis que seriam quase impossíveis para um ser humano perceber.