Na maioria das empresas de energia com as quais trabalhamos, existe hoje, em produção, um sistema de inteligência artificial com mais autonomia do que alguém alguma vez lhe concedeu formalmente.

Não é negligência. É assim que o sucesso funciona. O piloto funcionou. Foi ampliado para três plantas porque gerou resultados. Recebeu acesso de escrita porque já estava validado. Foi conectado a outro sistema porque era o passo natural. Cada incremento foi razoável separadamente. Nunca houve uma reunião em que alguém analisasse o conjunto e tomasse uma decisão.

Esse é o verdadeiro problema da governança da IA em operações críticas, e ele se parece muito pouco com o que costuma ser discutido nos comitês.

QUANDO O ERRO DEIXA DE SER DIGITAL

Em energia, petróleo e gás, geração ou distribuição, a inteligência artificial não opera em um ambiente isolado. Ela interage com ativos físicos, infraestrutura crítica e sistemas industriais dos quais dependem a continuidade do serviço e a segurança das pessoas. O potencial é enorme e está bem documentado. Mas, quando uma recomendação algorítmica influencia uma intervenção em campo ou uma decisão de manutenção, o erro deixa de ser exclusivamente digital. Ele se transfere para a disponibilidade, para a integridade dos ativos e, eventualmente, para as pessoas.

Vale imaginar uma situação concreta. São três da manhã em uma sala de controle. Um operador recebe uma recomendação de um sistema que acertou nas últimas duzentas vezes. Ele tem quatro minutos para decidir e oitenta alarmes ativos. A questão de governança, nesse momento, não é se o modelo é explicável. É se essa pessoa tem a informação, o tempo e a autoridade real para dizer não.

O problema não é que a IA erre. É que ela acerta.

Aqui está o aspecto contraintuitivo, e é o que mais vejo sendo subestimado nas organizações.

Um modelo que falha três em cada dez vezes é descartado rapidamente. O perigoso é aquele que acerta noventa e cinco em cada cem: ele é confiável exatamente o suficiente para que o supervisor deixe de verificar. Quando chega o caso número cem, a revisão humana já se tornou apenas uma assinatura.

A confiabilidade gera complacência. E isso significa que a supervisão humana se degrada justamente quando o sistema melhora, o que é o contrário do que pressupõem quase todos os modelos de governança. É um fenômeno estudado há décadas na aviação, na medicina e nos sistemas de apoio à decisão. Não há nenhuma razão para pensar que a IA seja imune.

A consequência prática é incômoda, mas clara: não basta medir a precisão do modelo. É preciso medir com que frequência o supervisor intervém. Se a taxa de intervenção cair a zero, o controle desapareceu, mesmo que o organograma continue dizendo que ele existe.

A AUTONOMIA É CONCEDIDA, DOCUMENTADA E REVISADA

Governar a IA é mais do que aprovar algoritmos. É definir quais decisões um sistema pode recomendar ou executar, com quais dados opera, dentro de quais limites atua, com base em quais evidências é autorizado e quem mantém a responsabilidade quando ele se desvia.

Para tornar isso operacional, é conveniente deixar de pensar em tecnologia e começar a pensar em graus de autonomia. Para fins práticos, distinguimos cinco níveis de autonomia que representam cinco decisões empresariais diferentes.

Um sistema pode observar: detecta ou resume. E uma pessoa decide. Pode recomendar: propõe uma ação com suas evidências, e uma pessoa aprova. Pode executar mediante autorização dentro de permissões limitadas. Pode executar dentro de limites, com thresholds, monitoramento e reversão definidos. E pode operar de forma autônoma, algo admissível somente quando o caso, a engenharia, a regulamentação e as evidências acumuladas o justificam.

Nenhum desses níveis deveria ser concedido por inércia de um piloto bem-sucedido. O princípio que aplicamos é simples: nenhum sistema deveria receber mais autonomia do que aquela que a organização consegue observar, explicar, limitar e reverter. Se não for possível reverter, ainda não é um caso para produção.

Isso se torna ainda mais relevante com os agentes, que já não apenas fazem previsões, mas também executam ações com ferramentas e credenciais próprias. Um agente com acesso transacional não é apenas mais um modelo: é um ator capaz de intervir em sistemas reais. E deve ser governado como tal.

UMA CORREÇÃO QUE TAMBÉM NOS INCLUI

Durante anos, grande parte da consultoria, inclusive a nossa, concentrou-se em políticas, princípios e comitês. Descobrimos que isso, por si só, não é suficiente.

O que funciona não é o princípio, é o limite. Ninguém precisa de uma declaração sobre responsabilidade algorítmica. Todos se lembram de que, acima de determinado valor ou nível de criticidade, é necessária uma segunda assinatura. A governança se torna real quando tem números, prazos e nomes.

Daí surgem mais duas correções, que também tivemos de aprender.

A primeira: não é verdade que seja necessário organizar todos os dados antes de fazer IA. Essa sequência gera programas que duram anos sem resultados para o negócio e, pior, melhora a qualidade de dados que depois ninguém utiliza. A governança de dados e os primeiros casos de uso são construídos em paralelo. O caso define quais dados precisam ser melhorados; a governança evita ter de corrigi-los vinte vezes.

A segunda: nem toda governança acelera. Aquela que acrescenta comitês sem responsáveis e aprovações sem prazo realmente atrasa, e com razão enfrenta resistência. A que acelera é aquela que define antecipadamente como um caso é classificado, quais evidências são exigidas em cada nível e em quantos dias uma decisão deve ser tomada. A diferença não está entre governar ou não governar, mas em saber se a governança tem prazos e responsáveis.

Na América Latina, isso tem uma nuance adicional. Convivemos com marcos regulatórios heterogêneos, infraestrutura mista e níveis desiguais de maturidade. A resposta não é um único marco regional, mas um padrão corporativo comum com anexos por jurisdição. E é conveniente antecipar-se: construir a governança sobre um sistema que já existe custa uma fração do que custa improvisá-la quando a regulamentação chegar.

UMA PERGUNTA PARA O SEU PRÓXIMO COMITÊ

A vantagem competitiva do setor não será de quem implementar mais inteligência artificial. Será de quem souber exatamente quanta autonomia concedeu a ela, por quê e como recuperá-la caso seja necessário.

Portanto, a pergunta com a qual encerro é uma só, e serve para medir em trinta segundos em que ponto uma organização se encontra:

Se existe um nome e essa pessoa tem autoridade real para interrompê-lo, há governança. Se for preciso descobrir quem é, existe um problema de governança.