Linha de pesquisa: Sistemas de Computação

Resumo: Este trabalho aborda o problema da avaliação de Sistemas de Detecção de Intrusão baseados Aprendizado de Máquina, destacando que práticas experimentais tradicionais
podem produzir resultados superestimados e com baixa transferibilidade para cenários reais. A principal contribuição é a proposta de uma taxonomia de avaliação de Sistema de Detecção de Intrusão (IDS) baseados em aprendizado de máquina estruturada em três eixos de avaliação: dados, carga de trabalho e métricas. No eixo de dados, este trabalho concentra a análise em três problemas de avaliação: mudança de conceito, ataques não observados e mudança de ambiente. Para cada um desses problemas é definida uma metodologia própria com protocolos experimentais, construção ou adaptação de conjuntos de dados e análises específicas. No estudo de mudança de conceito é proposto um framework para geração controlada de conjuntos de dados capaz de simular diferentes padrões de mudança de conceito, incluindo mudanças abruptas, graduais e recorrentes, permitindo analisar como cada tipo de variação afeta o comportamento dos modelos e a interpretação das métricas de avaliação. No caso de ataques não observados são conduzidos dois conjuntos de experimentos, um com a introdução de ataques de diferentes famílias e outro com a introdução de novas variantes dentro da mesma família de ataque, cujos resultados mostram limitações de generalização dos modelos em ambos os cenários. Na análise de mudança de ambiente são construídos e utilizados dois conjuntos de dados distintos, um gerado em ambiente local controlado e outro público, sendo realizados experimentos cruzados de treino e teste que evidenciam baixa transferibilidade de desempenho entre ambientes mesmo quando os ataques são equivalentes. Como resultado, o trabalho fornece uma estrutura metodológica unificada, protocolos experimentais e mecanismos de geração de dados que apoiam avaliações mais realistas, reprodutíveis e comparáveis de IDS baseados em aprendizado de máquina.

Link para a defesa: https://teams.microsoft.com/l/meetup-join/19%3ameeting_MmVmMzQ4NmItNWE3O...