Pesquisa premiada da Uema lança novo olhar sobre a confiabilidade das explicações da inteligência artificial
Por: Ewaldo Eder Carvalho Santana| Professor da Uema e Pedro Luís Carneiro Jovino| estudante de Engenharia de Computação da Uema
A inteligência artificial tem conquistado espaço em diferentes setores da sociedade, participando de decisões que vão desde a organização de informações até processos de classificação e análise em áreas como saúde, educação e ciência. À medida que essas tecnologias se tornam mais presentes em nossas vidas, cresce também uma exigência fundamental: compreender como elas chegam às suas conclusões. Afinal, não basta que um sistema apresente uma resposta. É necessário que possamos entender os elementos que sustentam suas decisões.
É nesse contexto que a explicabilidade da inteligência artificial ganha importância. Mais do que uma característica técnica, a capacidade de oferecer explicações compreensíveis sobre o funcionamento de modelos computacionais está diretamente relacionada à transparência, à confiança e à possibilidade de acompanhar essas tecnologias de maneira responsável.
Mas existe uma questão que ainda recebe pouca atenção: uma inteligência artificial pode continuar utilizando o mesmo método de explicação e, ainda assim, mudar significativamente a maneira como justifica suas decisões ao longo dos anos?
Essa foi a questão que orientou nossa pesquisa Monitoring Explanation Drift in Longitudinal NLP Pipelines: A Cross-Domain Study under Temporal Distribution Shift, desenvolvida no Laboratório de Análise e Processamento de Sinais (LAPS), da Universidade Estadual do Maranhão (Uema), e reconhecida com o prêmio de Melhor Artigo Científico no KDMiLe 2026, simpósio realizado durante a Conferência Brasileira de Sistemas Inteligentes (BRACIS 2026).
O estudo analisou 17.733 resumos de artigos científicos publicados entre 2014 e 2024, distribuídos entre duas bases de dados: arXiv, com publicações das áreas de inteligência artificial, linguística computacional e aprendizado de máquina; e PubMed, com produções da área biomédica.
Nosso objetivo foi investigar um fenômeno que denominamos Explanation Drift, ou deriva das explicações. Em termos simples, trata-se da instabilidade temporal dos termos utilizados por mecanismos de explicabilidade para apresentar os elementos mais relevantes de uma classificação realizada por um modelo de inteligência artificial.
A questão pode parecer bastante técnica, mas suas implicações são importantes. Imagine um sistema utilizado durante dez anos para analisar documentos científicos. Mesmo que seu mecanismo de explicação permaneça o mesmo, as palavras e os elementos apresentados para justificar suas classificações podem mudar significativamente. Isso significa que uma explicação considerada relevante em determinado período pode deixar de ocupar a mesma posição alguns anos depois.
Essa mudança não representa, necessariamente, uma falha do sistema. Entretanto, pode comprometer a comparação das explicações ao longo do tempo e dificultar o trabalho de pesquisadores, profissionais e instituições que precisam acompanhar o comportamento dessas ferramentas.
Os resultados mostram que a explicabilidade também precisa ser monitorada.
Na base arXiv, identificamos que as explicações produzidas no nível do modelo apresentaram instabilidade média de 0,50, enquanto as explicações baseadas em TF-IDF, que representam a relevância dos termos diretamente nos textos, apresentaram média de 0,15. Em outras palavras, a instabilidade das explicações no nível do modelo foi, em média, 3,33 vezes maior.
Essa diferença apresentou forte suporte estatístico. Na base PubMed, observamos uma tendência semelhante, embora com menor magnitude e sem significância estatística após a correção aplicada aos testes.
O que esses números nos dizem? Que a explicação oferecida por um sistema de inteligência artificial não deve ser tratada como uma informação necessariamente estável apenas porque o método utilizado para produzi-la permanece inalterado. A evolução dos dados e das relações entre as características analisadas pode modificar os elementos que o modelo considera mais relevantes.
A partir dessa constatação, propusemos um procedimento de monitoramento capaz de mensurar essas alterações e estabelecer critérios para identificar situações que mereçam uma revisão humana. A proposta utiliza uma medida denominada DriftScore, que quantifica a substituição dos termos presentes nas explicações entre períodos consecutivos, além de uma referência estatística para distinguir mudanças esperadas de alterações potencialmente relevantes.
Nos experimentos realizados, foram observadas variações nas explicações, mas nenhuma ultrapassou o limite estatístico estabelecido para gerar um alerta automático. Isso não significa que não houve mudanças. Significa que, segundo o critério conservador adotado, essas alterações não foram suficientemente incomuns para justificar uma sinalização automática.
Essa distinção é essencial: identificar instabilidade não é o mesmo que diagnosticar uma falha.
A transparência não pode ser avaliada apenas em um determinado momento. Ela precisa ser acompanhada ao longo do tempo.
Essa é, talvez, uma das principais reflexões que o avanço da inteligência artificial nos impõe. Frequentemente, discutimos a precisão dos modelos, a velocidade de processamento e a capacidade de automatizar tarefas. Entretanto, precisamos ampliar essa discussão para incluir a estabilidade das explicações que acompanham suas decisões.
Em aplicações de maior risco, como aquelas relacionadas à saúde, por exemplo, mudanças silenciosas na base explicativa de um sistema podem ter implicações importantes. Se profissionais e usuários pressupõem que as justificativas permanecem consistentes, quando na realidade seus fundamentos estão mudando, existe o risco de uma falsa percepção de continuidade e confiabilidade.
Isso não significa que toda alteração deva gerar preocupação ou intervenção. A linguagem, os dados e os contextos sociais mudam. Sistemas computacionais precisam lidar com essa dinâmica. O desafio está em desenvolver mecanismos capazes de identificar quando uma mudança faz parte da evolução esperada dos dados e quando merece uma investigação mais cuidadosa.
Nossa pesquisa não pretende afirmar que os modelos analisados apresentam falhas, tampouco propor que a estabilidade das explicações seja o único indicador de confiabilidade. O que defendemos é que ela precisa integrar as práticas de avaliação e governança da inteligência artificial, ao lado do monitoramento do desempenho preditivo. Afinal, um sistema pode continuar produzindo classificações enquanto modifica os elementos que utiliza para justificá-las. Por isso, acompanhar apenas os resultados pode ser insuficiente para compreender seu comportamento ao longo do tempo.
O desenvolvimento de uma inteligência artificial mais responsável exige, portanto, uma mudança de perspectiva. Não basta perguntar se um modelo consegue explicar suas decisões. Precisamos perguntar também se essas explicações continuam fazendo sentido, se são comparáveis e se suas transformações podem ser identificadas.
Em um cenário no qual a inteligência artificial passa a participar cada vez mais de decisões humanas e institucionais, a transparência não deve ser entendida como uma propriedade permanente, adquirida no momento em que um modelo é desenvolvido. Ela precisa ser construída, avaliada e monitorada continuamente.
Porque não basta que a inteligência artificial explique o que faz. Precisamos acompanhar como e por que suas explicações mudam.
*Artigo originalmente publicado no Jornal Pequeno em 06/11/2026