Subscrição em shadow mode é rodar um modelo de IA sobre submissões reais sem deixar ele decidir nada. O modelo vê os mesmos riscos que os subscritores veem, produz a própria resposta, e essa resposta é registrada e comparada em vez de executada. É o jeito mais barato de descobrir se um modelo funciona na sua carteira, e é a evidência que um regulador, um ressegurador ou um diretor técnico desconfiado realmente aceita.
O que é subscrição em shadow mode
Subscrição em shadow mode é um período controlado de avaliação em que um sistema de subscrição, de IA ou de regras, pontua submissões reais em paralelo ao processo humano vigente, sem nenhuma autoridade para cotar, recusar, precificar ou emitir.
O nome vem da engenharia de software, onde um serviço novo roda ao lado do antigo sobre tráfego de produção, com as saídas descartadas, só para ver se ele teria se comportado direito. Em subscrição a mecânica é idêntica. Toda submissão que chega ao time chega também ao modelo. O subscritor trabalha normalmente e não vê a saída do modelo enquanto decide. Depois, as duas respostas ficam guardadas lado a lado.
A restrição crítica é justamente a que costuma ser ignorada: o modelo não pode estar visível para quem decide, no momento em que decide. Se o subscritor enxerga o score antes de bater o martelo, a comparação está contaminada, porque você deixou de medir o modelo e passou a medir uma pessoa ancorada nele.
Por que shadow mode existe
Três problemas tornam um go-live direto irresponsável numa carteira.
O primeiro é que performance de modelo no benchmark do fornecedor não diz nada sobre performance na sua carteira. Apetite, mix de corretor, qualidade de dado e mercado local mudam a resposta. Um modelo que vai bem numa carteira patrimonial norte-americana pode ser inútil em transporte brasileiro.
O segundo é regulatório. Supervisores cada vez mais esperam que a seguradora demonstre que uma decisão automatizada foi validada antes de afetar um cliente, e que consiga explicar qualquer resultado individual. Um período de shadow gera exatamente essa evidência: um registro datado e versionado do comportamento do modelo sobre riscos reais antes de ele ter qualquer autoridade. O panorama global está em regulação de subscrição com IA em 2026 e a visão brasileira em SUSEP e regulação de IA.
O terceiro é organizacional, e é o mais subestimado. Você está pedindo a subscritores que entreguem julgamento a um sistema. O jeito mais rápido de perder essa sala é lançar um modelo e deixá-lo errar em público. O jeito mais rápido de ganhá-la é deixar que, por três meses, os subscritores vejam onde o modelo concordou com eles e onde não concordou, sem nada em jogo.
Como um shadow run funciona na prática
- Congele o escopo. Um ramo, um segmento, uma geografia. Shadow sobre a carteira inteira não mede nada, porque os modos de falha se cancelam.
- Defina qual decisão está sendo sombreada. Dentro ou fora do apetite, encaminhar ou cotar automático, preço técnico, faixa de score. Um modelo sombreando quatro decisões ao mesmo tempo produz quatro sinais fracos em vez de um forte.
- Ligue o modelo no tráfego vivo. Submissões reais, qualidade de dado real, lacunas reais. Nunca um extrato histórico limpo. A bagunça é o ponto.
- Cegue as pessoas. A saída vai para um lugar que o time de subscrição não acessa durante o expediente.
- Registre tudo. Para cada submissão: insumos, versão do modelo e das regras, saída, reason codes, decisão humana, timestamp, e o desfecho quando ele aparecer.
- Revise em cadência. Semanal no primeiro mês, quinzenal depois. Toda revisão olha as discordâncias, não a taxa de concordância.
- Acompanhe o que foi emitido. Concordância é proxy. Sinistralidade e conversão nos riscos efetivamente escritos são o sinal de verdade, e chegam depois.
O que medir
Taxa de concordância é o número que todo mundo pede e o menos informativo sozinho. Quatro medições importam mais.
Discordância por direção. O modelo queria recusar e o humano escreveu, ou o modelo queria cotar e o humano recusou. São dois problemas de negócio completamente diferentes e não podem virar uma porcentagem só.
Discordância por causa. Dado faltando, regra que o modelo não tem, relação com corretor que ele não enxerga, ou erro genuíno de modelo. Só o último é problema de modelagem. Os outros são problemas de processo fantasiados de modelo.
Cobertura. Com que frequência o modelo devolveu resposta utilizável. Um modelo que concorda 95% das vezes mas se abstém em um terço das submissões tem problema de pipeline de dado, não um bom resultado.
Estabilidade. O mesmo risco, reenviado com diferenças triviais, deve pontuar igual. Instabilidade no shadow é o melhor preditor de encrenca em produção.
Debaixo de tudo isso tem uma regra dura: taxa alta de concordância não prova que o modelo é bom, prova apenas que ele não é obviamente ruim. Um modelo que concorda com seus subscritores 92% das vezes replicou sua carteira atual, inclusive os erros dela. O valor está concentrado nos 8%, e a cadência de revisão existe para entender esses 8%.
Quanto tempo deve durar
Tempo suficiente para ver risco suficiente, e tempo suficiente para que parte dele amadureça.
Fixe volume, não calendário. Uma carteira com 200 submissões por semana chega à utilidade estatística muito antes de uma com 20. Cubra a sazonalidade que importa: pico de renovação, janela de chuva ou de safra, fechamento fiscal. Shadow que perdeu o pico não testou o pico. Para um segmento definido com volume razoável, de seis a doze semanas é a faixa comum. Menos de quatro semanas é demonstração. Mais de seis meses normalmente quer dizer que ninguém quer decidir.
Saindo do shadow
Shadow mode é uma fase, não um estado permanente, e a saída deve ser definida antes de começar. O caminho usual tem três degraus, e é deliberadamente gradual.
Primeiro, modo consultivo: a saída do modelo fica visível ao subscritor como recomendação, com a pessoa ainda decidindo tudo. A concordância costuma saltar aqui, o que é ancoragem e não melhoria, então essa fase mede adoção, não acurácia.
Segundo, autoridade limitada: o modelo passa a decidir sozinho uma faixa estreita e bem entendida. Normalmente os riscos mais limpos, que iriam para cotação automática de qualquer jeito, ou recusas claramente fora de apetite. Todo o resto continua indo para humano.
Terceiro, expansão faixa a faixa, com cada ampliação justificada pelo dado da anterior.
Os critérios de saída devem estar escritos desde o início e incluir um piso de cobertura, um teto de discordância inexplicada, evidência de estabilidade e um procedimento documentado de rollback. O desenho mais amplo do piloto está em escalonamento humano na subscrição automatizada.
O que shadow mode não resolve
Não resolve dado ruim. Se as submissões chegam como PDF não estruturado e fio de e-mail, o modelo vai desempenhar mal no shadow por razões que nada têm a ver com o modelo. Subscritores já perdem cerca de 40% do tempo em trabalho administrativo em vez de seleção de risco, segundo a Deloitte, e um shadow rodando em cima dessa bagunça mede principalmente a bagunça. Conserte ingestão e extração antes.
Não resolve apetite indefinido. Se dois subscritores sêniores discordam sobre se um ramo está no apetite, o modelo não tem como estar certo, porque não existe resposta certa contra a qual comparar.
E não satisfaz um auditor por si só. O que satisfaz um auditor é o registro: regras versionadas, reason codes em toda saída, e a capacidade de reproduzir uma decisão meses depois. Essa exigência é a mesma que vale para subscrição em produção e está em como auditar decisões de subscrição com IA e decisões de subscrição auditáveis.
A implicação arquitetural é que shadow mode só é barato se o modelo puder ser plugado no fluxo vivo de submissões sem tocar no sistema de administração de apólices. Se avaliar um modelo exige um projeto de integração com o core, ninguém vai avaliar mais de um modelo, e é exatamente assim que seguradoras acabam casadas com o primeiro fornecedor que viram. Uma camada externa que lê o tráfego vivo e escreve no próprio log, deixando o sistema de registro intacto, é o que transforma shadow mode em exercício de rotina em vez de programa.
A WIR Innovation é uma camada de IA externa para seguradoras e MGAs que automatiza intake de submissões, cotação e decisão de subscrição sem substituir o core, com ML calibrado ao apetite e ao manual da própria seguradora, e toda decisão explicável com trilha de auditoria completa. Ela aplicou esse padrão numa prova de conceito com uma seguradora global no ramo de Transportes.
Perguntas frequentes
O que é subscrição em shadow mode?
É um período controlado de avaliação em que um sistema de subscrição, de IA ou de regras, pontua submissões reais em paralelo ao processo humano vigente, sem nenhuma autoridade para cotar, recusar, precificar ou emitir. A saída do modelo é registrada e comparada depois com a decisão do subscritor. A pessoa não pode ver a saída do modelo no momento em que decide, senão a comparação mede ancoragem e não qualidade de modelo.
Quanto tempo deve durar um shadow mode?
Fixe volume, não calendário, porque uma carteira com 200 submissões por semana chega à utilidade estatística muito antes de uma com 20. O período também precisa cobrir a sazonalidade que importa, como pico de renovação ou janela de safra. Para um segmento definido com volume razoável, de seis a doze semanas é a faixa comum. Menos de quatro semanas é demonstração, não teste.
O que medir durante um shadow run?
Discordância analisada por direção, já que o modelo querer recusar um risco que o humano escreveu é um problema diferente de querer cotar um que o humano recusou. Discordância por causa, separando dado faltando, regra ausente e erro genuíno de modelo. Cobertura, que é com que frequência o modelo devolveu resposta utilizável. E estabilidade, que é o mesmo risco pontuar igual ao ser reenviado. Taxa de concordância sozinha é o número menos informativo.
Concordância alta prova que o modelo é bom?
Não. Concordância alta prova apenas que o modelo não é obviamente ruim. Um modelo que concorda com seus subscritores 92% das vezes replicou a carteira atual, inclusive os erros dela. O valor está nas discordâncias, e é por isso que a cadência de revisão deve olhar a minoria de casos em que as duas respostas divergem em vez de comemorar a maioria em que coincidem.
Como sair do shadow mode para produção?
Em três degraus, com critérios definidos antes de começar. Primeiro modo consultivo, com a saída visível como recomendação e a pessoa ainda decidindo. Depois autoridade limitada, com o modelo decidindo sozinho uma faixa estreita e bem entendida, como os riscos mais limpos ou recusas claramente fora de apetite. Depois expansão faixa a faixa, cada ampliação justificada pelo dado da anterior, com procedimento de rollback documentado.
Que problemas o shadow mode não resolve?
Não resolve dado ruim: se as submissões chegam como PDF não estruturado e fio de e-mail, o shadow mede principalmente a qualidade da sua ingestão, então extração deve ser corrigida antes. Não resolve apetite indefinido, porque se subscritores sêniores discordam sobre se um ramo está no apetite não existe resposta certa para comparar. E não satisfaz um auditor sozinho, que precisa de regras versionadas, reason codes e decisões reproduzíveis.