Motional e MIT criam sistema para veículos autônomos explicarem decisões

A rede CW-Net converte cálculos internos de redes neurais em conceitos legíveis, como aproximação a veículo parado ou proximidade com ciclista.

Explicação em tempo real

Pesquisadores da Motional e do MIT desenvolveram um sistema chamado Concept-Wrapper Network, ou CW-Net, para tornar legíveis as decisões de veículos autônomos. O trabalho foi publicado na revista Nature. A proposta é enfrentar o problema da caixa-preta, em que redes neurais treinadas com grandes volumes de dados conduzem bem, mas não mostram por quê.

O método converte cálculos internos do modelo em conceitos que um humano consegue ler, como "aproximando-se de veículo parado" ou "perto de ciclista". Segundo a Motional, esses conceitos poderiam aparecer em um painel durante a condução. A explicação acompanharia a decisão, não viria depois dela.

Nas ruas de Las Vegas, a equipe testou o sistema em um veículo autônomo com um operador de segurança experiente no volante. Os testes ocorreram em pista privada e em vias públicas. A companhia relatou que o objetivo é rastrear cada frenagem até uma causa concreta.

Causa visível

O CW-Net não cria uma justificativa posterior. De acordo com a Motional, o sistema final de decisão age diretamente sobre conceitos interpretáveis por humanos. Assim, cada parada pode ser ligada a um conceito específico.

Laura Major, executiva-chefe da Motional, disse:

"A abordagem geral somente de ponta a ponta pode chegar a uma solução muito boa de 80 a 90 por cento, talvez até 95 por cento, mas isso não é suficiente para remover um motorista ou conquistar a confiança de cidades, comunidades e clientes."

Falhas detectadas

Em um dos testes, o veículo parou repetidamente perto de um cone de trânsito. O operador assumiu que o cone causava a parada. Os pesquisadores removeram o cone e o carro continuou parando.

O painel do CW-Net mostrou outra causa: o planejador experimental estava gerando uma percepção falsa de um veículo parado à frente. A equipe explicou que o padrão vinha dos dados de treinamento. Essa leitura permitiu entender, prever e corrigir o problema.

Em outro caso, o carro detectou e parou para um ciclista como esperado. O CW-Net revelou que a decisão não vinha da presença do ciclista. O operador de segurança respondeu com mais cautela perto de ciclistas.

Análise posterior confirmou que a cautela era justificada. A frenagem veio de um sistema de reserva, não do planejador experimental baseado em aprendizado profundo.

Desempenho e regulação

A Motional reconhece que camadas de explicação podem custar velocidade e desempenho. Em testes comparativos com algoritmos líderes de direção autônoma, a diferença ficou abaixo de 1%.

Para a companhia, essa transparência importa na operação. Um operador que vê a causa real responde com mais precisão. A equipe técnica diagnostica o sistema com rapidez maior.

A empresa conecta o trabalho à pressão regulatória sobre veículos autônomos. De acordo com a Motional, ferramentas como o CW-Net podem sair da pesquisa e virar exigência básica. Drones e cirurgia robótica também foram citadas como áreas críticas de segurança.