IA mal configurada pode paralisar infraestrutura crítica até 2028, alerta Gartner
A adoção acelerada de inteligência artificial em sistemas que controlam o “mundo físico” – como energia, transporte, água, saúde e indústria – está criando um novo tipo de risco: a possibilidade de que um simples erro de configuração cause um apagão em escala nacional. Segundo previsão da consultoria Gartner, até 2028 uma falha de configuração em IA usada em sistemas ciberfísicos (CPS) deverá provocar a interrupção de infraestrutura crítica em pelo menos um país do G20, grupo que reúne as 19 maiores economias do mundo mais a União Europeia.
O cenário projetado não tem como vilão principal o cibercriminoso, mas o erro humano dentro de sistemas altamente automatizados. Para Wam Voster, analista vice-presidente da Gartner, a próxima grande falha de infraestrutura pode nascer de um detalhe aparentemente banal: uma atualização mal testada, uma regra mal definida ou até um único caractere no lugar errado em um arquivo de configuração. Em ambientes onde modelos de IA tomam decisões em milissegundos, uma pequena alteração pode desencadear uma cadeia de eventos com impacto físico real.
A diferença em relação a incidentes tradicionais é que, nos sistemas baseados em IA, a lógica de decisão nem sempre é totalmente compreendida, mesmo pelos próprios desenvolvedores. Voster ressalta que muitos modelos modernos se comportam como verdadeiras “caixas-pretas”: o sistema aprende padrões a partir de grandes volumes de dados e passa a agir com base em correlações que nem sempre são intuitivas para humanos. Assim, uma mudança mínima em parâmetros, limiares ou fontes de dados pode gerar comportamentos emergentes inesperados.
Um exemplo citado pelo analista é o das redes elétricas inteligentes, que já dependem de IA para equilibrar em tempo real a geração e o consumo de energia. Nesses sistemas, algoritmos analisam dados de sensores espalhados pela rede e tomam decisões automáticas para evitar sobrecargas, quedas de tensão ou colapsos. Se o modelo preditivo for configurado de forma equivocada, ele pode interpretar oscilações normais de demanda como sinais de instabilidade grave e acionar medidas de proteção desnecessárias, como isolar trechos da rede ou cortar o fornecimento para regiões inteiras.
Esse tipo de resposta exagerada ou incorreta, disparada autonomamente, pode provocar apagões em cascata, afetando hospitais, telecomunicações, transporte público, centros de dados e serviços financeiros. Em cenários extremos, a consequência não é apenas operacional ou econômica, mas também de segurança física e até de risco à vida. E o mais preocupante, segundo os especialistas, é que tais falhas podem ser completamente não intencionais, resultado de boas práticas mal aplicadas ou mudanças realizadas com pressa.
A complexidade crescente dos modelos de IA amplifica esse risco. Em vez de regras claramente documentadas e previsíveis, muitas aplicações utilizam arquiteturas profundas, com milhares ou milhões de parâmetros que interagem de maneiras difíceis de mapear. Voster destaca que, quanto mais opaco e autônomo é o sistema, maior a chance de uma configuração aparentemente inofensiva alterar o comportamento global do modelo. Isso torna crítico manter meios claros de intervenção humana e de retomada do controle manual em situações de emergência.
Outro ponto sensível é a confiança excessiva na automação. Em ambientes de infraestrutura crítica, operadores podem ser levados a acreditar que “a IA sabe o que está fazendo” e reduzir o grau de supervisão ativa. Esse fenômeno, conhecido como complacência automatizada, faz com que sinais sutis de mau funcionamento passem despercebidos até que o problema se torne grave. Sem mecanismos de monitoramento contínuo, alertas significativos e equipes treinadas para interpretar anomalias, erros de configuração podem permanecer ocultos por longos períodos.
Para reduzir esses riscos, a Gartner recomenda uma abordagem estruturada de governança de IA em sistemas ciberfísicos. A primeira medida é implementar modos de segurança com override – isto é, a capacidade de desligar ou limitar a atuação da IA rapidamente, permitindo que operadores autorizados assumam o controle. Esse override não deve ser amplamente acessível, para não abrir brechas de segurança, mas precisa ser simples de acionar e sustentado por procedimentos claros, testados periodicamente em simulações.
Outra recomendação central é o uso de gêmeos digitais em escala real para teste de atualizações e novas configurações. Um gêmeo digital é uma réplica virtual do sistema físico, alimentada por dados reais ou simulados, que permite avaliar o impacto de mudanças antes de aplicá-las no ambiente de produção. No contexto de IA em infraestrutura crítica, isso significa submeter modelos, parâmetros e integrações a cenários extremos, falhas simuladas e variações de demanda, de forma controlada, a fim de identificar comportamentos inesperados.
A consultoria também ressalta a necessidade de monitoramento em tempo real das decisões e do desempenho dos modelos de IA utilizados em CPS. Não se trata apenas de observar se o sistema “está no ar”, mas de acompanhar métricas de qualidade de decisão, taxas de erro, padrões de ativação de rotinas de proteção e desvios em relação ao comportamento esperado. Esses indicadores devem estar integrados a mecanismos de rollback – a capacidade de reverter rapidamente uma alteração de modelo ou configuração para um estado anterior conhecido e estável.
Além das medidas técnicas, há um componente organizacional indispensável: a definição de responsabilidades claras. Muitas empresas adotam IA em suas operações críticas sem determinar quem aprova mudanças em modelos, quem responde por incidentes e quem tem autoridade para acionar o override em caso de emergência. Em ambientes de alta criticidade, a governança deve incluir comitês técnicos, revisões periódicas de risco, políticas de mudanças e planos de resposta a incidentes específicos para falhas de IA.
Treinamento de equipes também entra como fator decisivo. Operadores de sistemas industriais, profissionais de segurança, engenheiros de rede e times de TI precisam entender pelo menos em alto nível como a IA toma decisões, quais são seus limites e quais sinais indicam que algo está saindo do controle. Sem essa base, o risco é que as organizações se tornem dependentes de um sistema que ninguém sabe interromper com segurança quando necessário.
Outro desafio frequentemente subestimado é a qualidade e o ciclo de vida dos dados usados para treinar e alimentar modelos. Em sistemas ciberfísicos, sensores podem falhar, ficar descalibrados ou sofrer interferência. Se a IA não estiver preparada para lidar com dados inconsistentes ou fora do padrão, pode tomar decisões perigosas com base em informações deturpadas. Estratégias como validação de dados, redundância de sensores, detecção de anomalias e testes de robustez precisam fazer parte do desenho da solução.
A interação entre segurança cibernética tradicional e risco operacional também se torna mais complexa. Mesmo que o incidente previsto pela Gartner não seja, necessariamente, resultado de um ataque malicioso, invasores podem explorar as mesmas fragilidades de configuração para causar danos deliberados. Um sistema mal projetado, sem segregação adequada de funções, logs detalhados e controles de mudança, pode permitir que um atacante explore a IA como vetor para causar impactos físicos maiores do que um ataque convencional.
Nesse contexto, os diretores de segurança da informação (CISOs) são chamados a ir além do perímetro digital e se engajar diretamente com áreas de operações, engenharia e negócios. A proteção de infraestrutura crítica baseada em IA não é apenas um problema de firewall e criptografia, mas de arquitetura de sistemas, gerenciamento de ciclo de vida de modelos, cultura de segurança e resiliência operacional. A criação de times multidisciplinares, que reúnam especialistas em IA, segurança, engenharia de automação e risco, tende a ser um caminho mais eficaz do que a atuação isolada de cada área.
Vale destacar que a tendência de incorporar IA a sistemas ciberfísicos é irreversível, impulsionada por ganhos de eficiência, redução de custos e necessidade de tomar decisões em tempo real. O objetivo, portanto, não é frear a adoção, mas sim amadurecer a forma como essas tecnologias são planejadas, implantadas e gerenciadas. Organizações que tratam a IA como um componente crítico de infraestrutura – e não como uma simples funcionalidade adicional – têm mais chances de colher benefícios sem se expor a riscos desproporcionais.
Por fim, a previsão da Gartner funciona menos como uma profecia inevitável e mais como um alerta. Se nada mudar na forma como empresas e governos configuram, monitoram e governam sistemas de IA em ambientes críticos, a probabilidade de um incidente de grande escala até 2028 é real. Por outro lado, quem começar agora a investir em gêmeos digitais, supervisão humana, processos rigorosos de mudança e cultura de responsabilidade compartilhada em torno da IA poderá transformar esse risco em vantagem competitiva: operar com mais inteligência, segurança e resiliência em um mundo cada vez mais automatizado.