DCCMAPI/CCET

Uma banca de QUALIFICAÇÃO de DOUTORADO foi cadastrada pelo programa.
DISCENTE: HELCIO DE ABREU SOARES
DATA: 28/09/2023
HORA: 14:00
LOCAL: Sala Virtual do Google Meet
TÍTULO: Usando a explicabilidade para encontrar padrões espúrios em conjuntos de dados textuais
PALAVRAS-CHAVES: PLN; XAI; Classificação binária; Padrões espúrios
PÁGINAS: 73
GRANDE ÁREA: Ciências Exatas e da Terra
ÁREA: Ciência da Computação
RESUMO: Mesmo com os progressos em Inteligência Artificial (IA), muitos modelos ainda não conseguem elucidar claramente como operam e justificam suas decisões, sendo frequentemente percebidos como ``caixas pretas’’. Tal opacidade amplifica a falta de confiança dos usuários, enfatizando a necessidade de entender não apenas os mecanismos de tomada de decisão, mas também a genuína relevância dos padrões que os influenciam. Especificamente em classificação de textos, os padrões espúrios referem-se a correlações enganosas entre atributos e classes que não surgem de relações causais genuínas. As consequências desses padrões podem variar desde previsões imprecisas e vieses enraizados até sérias complicações ao decifrar as saídas modelos de IA. Porém, técnicas de Inteligência Artificial Explicável (Explainable Artificial Intelligence - XAI) surgem como ferramentas essenciais, oferecendo a possibilidade de relacionar atributos de entrada às saídas e decisões tomadas pelos modelos, permitindo maior clareza e entendimento sobre como essas decisões são tomadas. O objetivo central deste trabalho é apresentar um Pipeline robusto para detecção e mitigação de padrões espúrios em modelos de classificação binária aplicados a conjuntos de dados textuais. O Pipeline proposto concentra-se na identificação e tratamento de padrões espúrios em modelos de PLN na tarefa de classificação binária. O Pipeline consiste em quatro etapas: identificação do pior cenário, exploração dos tokens mais relevantes para cada classe, isolamento dos tokens espúrios e estabelecimento de um Modelo-Explicador. Avaliamos a proposta com diferentes algoritmos de classificação utilizando uma base de dados de Contratos da Administração Pública relacionados aos gastos no combate à COVID-19. O resultado do experimento apresenta melhorias em relação à Acurácia, Precisão e F1-Score e, especialmente, ressalta a capacidade do Modelo-Explicador em identificar de etiquetagens errôneas presentes na base de dados. Embora os ganhos em termos de métricas tradicionais de desempenho não tenham sido significativamente elevados, houve uma melhoria substancial na interpretabilidade, o Pipeline permitiu destacar tanto as forças quanto as fragilidades do modelo, estabelecendo claramente a relação entre as características de entrada e as decisões do Modelo-Explicador. Esta pesquisa reafirma a necessidade de foco na interpretabilidade de modelos, além das métricas de desempenho, para aprimorar a confiança e o entendimento em aplicações de IA.
MEMBROS DA BANCA:
Presidente - 641.754.563-68 - RODRIGO DE MELO SOUZA VERAS
Interno - 407686 - ANSELMO CARDOSO DE PAIVA
Externo à Instituição - GUSTAVO PAIVA GUEDES E SILVA - IFRJ
Externo à Instituição - RAIMUNDO SANTOS MOURA - UFPI