RAG não tira a responsabilidade do servidor

A IA pode consultar documentos oficiais antes de responder. Isso melhora a fundamentação. Mas não transforma a resposta em verdade, nem permite que a instituição transfira todo o risco para quem está na ponta.

O Ministério da Gestão e da Inovação em Serviços Públicos divulgou um guia sobre o uso de RAG no setor público.

RAG é a sigla em inglês para uma arquitetura em que a inteligência artificial consulta uma base de documentos antes de formular a resposta. Em vez de depender apenas do que aprendeu no treinamento, o modelo busca normas, manuais, pareceres e outros conteúdos institucionais, e responde com base no que encontrou.

A lógica é simples. Se um servidor precisa responder a uma dúvida sobre uma norma, espera-se que ele consulte a fonte antes de responder. Com o RAG, a IA tenta fazer algo parecido: procura trechos relacionados à pergunta, junta esse material ao contexto e produz uma resposta apoiada nele.

Isso pode melhorar bastante o trabalho. Pode facilitar a consulta a normas, ajudar a localizar precedentes, apoiar o atendimento ao cidadão e reduzir o tempo gasto procurando informação em centenas de documentos.

Mas existe uma frase do guia que merece atenção especial: a responsabilidade legal pela decisão continua sendo do agente público. A afirmação está correta. O problema começa quando ela é lida de forma conveniente demais pela instituição.

A IA consultou a fonte. Isso não significa que a resposta esteja certa.

Existe uma tendência de tratar o RAG como solução para o problema das alucinações. Não é.

O RAG pode reduzir respostas inventadas, mas continua sujeito a vários tipos de erro. O sistema pode recuperar o documento errado, encontrar uma versão antiga da norma, selecionar um trecho incompleto, ignorar um anexo ou apresentar uma regra geral sem perceber que existe uma exceção aplicável ao caso concreto. Pode também recuperar corretamente o documento e interpretar mal o conteúdo.

Uma resposta com citação transmite mais confiança. E esse é justamente um dos riscos. Quando a IA inventa uma norma que não existe, o erro até aparece com alguma facilidade. Quando ela apresenta uma norma verdadeira, com um resumo plausível, mas aplica essa norma de maneira errada, o problema fica muito mais difícil de identificar.

O RAG não elimina a necessidade de análise. Ele muda o tipo de análise que precisa ser feita. Antes, o servidor precisava desconfiar de uma resposta sem fonte. Agora, também precisa verificar se a fonte indicada realmente sustenta a conclusão apresentada.

A responsabilidade continua humana

No setor público, uma resposta produzida por IA não pratica um ato administrativo. A ferramenta não tem competência legal, não responde pelo processo, não assina o documento e não comparece perante os órgãos de controle para explicar por que determinada decisão foi tomada. Quem revisa, aprova ou assina continua sendo uma pessoa.

Isso significa que o servidor não deveria copiar uma resposta do sistema para um parecer, despacho, nota técnica ou comunicação oficial sem conferir:

• qual documento foi utilizado;
• se o documento está vigente;
• se o trecho citado foi interpretado corretamente;
• se existem outras normas aplicáveis;
• se a conclusão é adequada ao caso concreto.

A existência de uma fonte não substitui esse trabalho. Em alguns casos, a resposta da IA serve como ponto de partida para a pesquisa. Em outros, ajuda a organizar informações que serão analisadas por uma área técnica ou jurídica. O que ela não deveria fazer é encerrar a análise.

Até aqui, o guia está no caminho certo. Mas existe outra parte da responsabilidade que não pode ser ignorada.

O órgão também decide quando implanta um sistema de RAG

Quando uma instituição coloca uma ferramenta dessas em funcionamento, ela toma uma série de decisões antes mesmo de o servidor fazer a primeira pergunta.

Alguém decide quais documentos entram na base. Alguém define como esses documentos serão atualizados. Alguém escolhe se normas revogadas continuarão disponíveis. Alguém configura os controles de acesso. Alguém determina quais perguntas serão registradas, quem poderá consultar os registros e por quanto tempo essas informações ficarão armazenadas. E alguém escolhe o modelo, o mecanismo de busca, a interface e a forma como as fontes aparecem para o usuário.

Essas decisões influenciam diretamente o resultado. Se a base está desatualizada, o servidor pode receber uma orientação errada. Se os documentos não trazem informação clara sobre vigência e revogação, o sistema pode tratar uma norma antiga como válida. Se o controle de acesso é mal configurado, a IA pode mostrar informação que aquele usuário não deveria consultar. Se a interface esconde as fontes ou apresenta trechos sem contexto, a revisão humana fica mais difícil.

Não é razoável tratar todos esses problemas como falha isolada do servidor que usou a ferramenta. A responsabilidade humana permanece. Mas ela não existe apenas no último clique.

”O servidor deve revisar” não é uma política de governança

É fácil colocar um aviso na tela: confira as informações antes de utilizar a resposta. Isso pode ser necessário, mas está longe de ser suficiente.

Uma política séria precisa dizer o que deve ser conferido, em quais situações a IA pode ser usada, quando a validação de outra área é obrigatória e quais usos estão proibidos. E precisa considerar as condições reais de trabalho.

Se o sistema é usado para processar centenas de casos em pouco tempo, não adianta afirmar que existe supervisão humana quando o servidor não tem tempo, informação ou meios adequados para revisar cada resultado. Nesse cenário, a participação humana vira apenas formal. A pessoa clica em “aprovar”, mas não consegue verificar de verdade o que foi produzido. Depois, se algo dá errado, a instituição aponta para o clique e diz que a decisão foi humana.

Isso não é supervisão humana adequada. É uma forma de concentrar a responsabilidade no usuário sem lhe dar condições reais de exercer o julgamento.

Pense em uma auditoria de contratos

Imagine um sistema criado para apoiar a auditoria de contratos administrativos. O servidor pergunta se determinada alteração contratual encontra respaldo nas normas internas. A IA consulta a base, recupera uma orientação antiga e apresenta uma resposta bem escrita, com referência ao documento. O servidor usa aquela informação na sua análise.

Mais tarde, descobre-se que a orientação tinha sido substituída por outra, mas o documento antigo continuava na base ativa do sistema.

Quem errou?

O servidor deveria ter conferido a vigência do documento. Isso faz parte da responsabilidade dele. Mas a análise não pode parar aí. Por que uma orientação superada continuava disponível sem nenhum alerta? Quem era responsável por atualizar a base? O sistema mostrava a data e a situação do documento? Existia um procedimento de revisão? O servidor tinha recebido treinamento? Havia tempo suficiente para consultar a fonte completa?

A apuração precisa considerar toda a cadeia. O fato de uma pessoa ter usado a resposta não apaga as falhas de quem projetou, alimentou, contratou, configurou e manteve o sistema.

O RAG pode melhorar a responsabilização

Existe, porém, um aspecto bastante positivo nessa arquitetura. Quando bem implementado, o RAG pode aumentar a rastreabilidade.

Em vez de uma resposta sem origem identificável, o sistema pode registrar quais documentos foram recuperados, quais trechos foram usados e qual resposta foi apresentada ao servidor. Isso permite reconstruir o caminho da decisão e verificar se o erro estava na base documental, no mecanismo de busca, na interpretação do modelo ou no uso feito pela pessoa.

Mas essa rastreabilidade precisa ser planejada. Não basta guardar todas as conversas indefinidamente, porque isso cria novos riscos de privacidade, sigilo e segurança da informação. O órgão precisa definir quais registros são necessários, quem pode acessá-los e como serão usados em auditorias, correções e apurações.

A finalidade não é criar um sistema de vigilância sobre o servidor. É permitir que a instituição descubra onde o processo falhou e corrija o problema.

Antes de usar a resposta, quatro perguntas

Se eu estivesse usando uma ferramenta de RAG para apoiar uma atividade relevante, faria quatro perguntas antes de aproveitar o resultado.

1. De onde veio essa informação?

A resposta precisa indicar a fonte com clareza. Não apenas o nome do arquivo, mas, quando possível, o trecho, a página, a data e a versão do documento.

2. A fonte ainda está válida?

Um documento oficial pode ser autêntico e, mesmo assim, estar desatualizado, revogado ou substituído.

3. A fonte realmente sustenta a conclusão?

A IA pode encontrar o documento certo e chegar a uma interpretação errada. É preciso conferir o conteúdo, não apenas a existência da citação.

4. Quem precisa validar isso antes do uso?

Dependendo do impacto, a resposta pode exigir revisão da área jurídica, técnica, de segurança da informação, de proteção de dados ou da autoridade competente.

Essas perguntas não tornam o processo infalível. Mas ajudam a impedir que uma resposta bem escrita seja confundida com uma decisão fundamentada.

A discussão não é apenas tecnológica

O debate sobre RAG costuma começar pela qualidade da busca, pelos bancos vetoriais e pela precisão do modelo. Tudo isso importa.

Mas, no setor público, a discussão principal deveria ser outra: como distribuir responsabilidade de maneira clara entre o sistema, o usuário e a instituição.

O servidor precisa entender as limitações da ferramenta e revisar criticamente os resultados. A equipe técnica precisa garantir segurança, atualização, controle de acesso e rastreabilidade. As áreas donas dos documentos precisam cuidar da qualidade da base. Os gestores precisam definir em quais atividades a IA pode ser usada e quais decisões não devem depender desse tipo de apoio. E a alta administração precisa assumir que adotar a tecnologia é uma decisão institucional, com riscos institucionais.

Não basta dizer que a IA apenas sugere e que o servidor decide. É preciso construir um processo no qual o servidor tenha condições reais de decidir bem.

O verdadeiro valor do RAG no setor público

Na minha visão, o principal valor do RAG não está em fazer a IA parecer mais inteligente. Está em permitir que o conhecimento institucional seja encontrado, consultado e verificado com mais facilidade. Isso já seria um avanço importante.

Mas a promessa precisa ser colocada no lugar certo. O objetivo não deveria ser produzir respostas que dispensem análise, mas ajudar as pessoas a localizar mais rápido as informações necessárias para fazer uma análise melhor.

A diferença parece pequena e muda o projeto inteiro. No primeiro caso, a instituição tenta automatizar uma resposta. No segundo, ela melhora o processo de decisão.

O RAG pode reduzir erros, organizar o conhecimento e tornar algumas atividades mais eficientes. Mas também pode fazer uma orientação errada circular mais rápido e alcançar mais processos. Por isso, a responsabilidade continua humana. Humana no uso, na revisão e na decisão. E também humana na escolha dos documentos, na configuração da ferramenta, na definição dos controles e na criação das condições de trabalho.

Antes de implantar um sistema de RAG, o órgão deveria conseguir responder com clareza:

Quem cuida da base, quem verifica a resposta, quem aprova a decisão e quem corrige o sistema quando alguma coisa dá errado?

Sem essa resposta, não existe governança. Existe apenas uma tecnologia nova funcionando sobre responsabilidades antigas e mal definidas.

---