Os modelos estão ficando bons demais em mentir
Os modelos estão ficando bons demais em mentir
Deixa eu te contar o que aconteceu.
Deixa eu te contar o que aconteceu.
Nov 5, 2025
94% de acurácia.
Código limpo, bem documentado, sem erros.
Deploy na quinta-feira.
Catástrofe na segunda.
Deixa eu te contar o que aconteceu.
Uma cientista de dados júnior estava travada há dias em um problema de classificação daqueles que fazem você questionar suas escolhas de carreira.
Dataset bagunçado. Features correlacionadas. Target desbalanceado. Você conhece a história.
Então ela fez o que todos estão fazendo agora: colou o problema no ChatGPT.
Em 10 minutos tinha uma solução completa.
Pré-processamento, modelo, avaliação, visualizações.
Tudo funcionando. 94% de acurácia.
A equipe celebrou. Eu teria celebrado também.
Quinta-feira: modelo em produção.
Segunda-feira: sistema caiu. Completamente.
E aqui está a parte assustadora...
O Código Estava Perfeito
Não era bug.
Não era erro de sintaxe.
Não era problema de performance.
O código fazia exatamente o que deveria fazer.
Só que estava resolvendo o problema errado.
Deixa eu explicar o que a IA não conseguiu entender (e o que ninguém percebeu até ser tarde demais):
O objetivo era prever se NOVOS clientes responderiam a uma campanha de marketing.
O que a IA construiu?
Um modelo que previa se clientes que JÁ TINHAM VISTO campanhas anteriores responderiam novamente.
Parece sutil. Não é.
É a diferença entre:
"Este cliente novo vai comprar?"
"Este cliente antigo costuma comprar?"
O modelo tinha 94% de acurácia em memorizar o passado.
Zero capacidade de prever o futuro.
E ninguém percebeu porque o código era LINDO.
Aqui está o problema real
Sabe aquele código bagunçado que você escreve às 2h da manhã?
Variáveis chamadas "temp" e "x2".
TODOs por todo lado.
Funções gigantes porque você ainda não sabe como refatorar.
Aquele código tem um superpoder: ele grita "EU NÃO TENHO CERTEZA".
Quando alguém revisa, faz perguntas.
Questiona escolhas.
Desafia pressupostos.
Agora compare com código gerado por IA:
✓ Funções com nomes perfeitos
✓ Variáveis semânticas
✓ Comentários úteis
✓ Estrutura impecável
✓ Zero code smells
Esse código sussurra:
"Pode confiar, está tudo certo".
E nós confiamos.
É aí que mora o perigo.
Código confiante nos faz parar de fazer perguntas.
E as perguntas são exatamente o que precisamos fazer MAIS agora, não menos.
As perguntas que paramos de fazer
Antes da IA:
"Por que você fez loop no dataframe em vez de vetorizar?"
"Por que esse valor está hardcoded?"
"Por que você escolheu essa métrica?"
Essas perguntas não eram sobre código. Eram sobre compreensão.
As escolhas que alguém faz ao codificar revelam o que essa pessoa entende sobre o problema.
Agora?
O código chega pronto. Vetorizado. Configurável. Métrica padrão.
E as perguntas profundas ficaram invisíveis:
→ Este pré-processamento faz sentido para ESTES dados?
→ Esta métrica é apropriada para ESTE problema de negócio?
→ Esta divisão treino-teste reflete como o modelo será REALMENTE usado?
A IA resolve problemas técnicos.
Mas quem valida se estamos resolvendo o problema CERTO?
A habilidade que ninguém te ensinou
Você precisa aprender a ler o que NÃO está escrito.
Os pressupostos invisíveis.
As alternativas não consideradas.
Os edge cases não contemplados.
Olha aquele modelo de marketing de novo.
Em lugar nenhum do código está escrito:
"ATENÇÃO: assumindo que dados de treino e produção têm a mesma distribuição".
Esse pressuposto está ASSADO na abordagem.
Treina em histórico. Testa em histórico. Deploy em novos clientes.
A incompatibilidade é óbvia... quando você para pra pensar.
Mas quem está parando pra pensar quando o código parece tão profissional?
O que validação realmente significa agora
Quando alguém traz um modelo assistido por IA, esqueça as perguntas técnicas.
Faça estas:
1. O teste representa a produção?
Não "separamos 20% aleatoriamente".
Mas: "o que o modelo verá em produção é estruturalmente similar ao teste?"
2. O que o modelo está REALMENTE aprendendo?
Crie dados sintéticos.
Isole padrões.
Force o modelo a revelar o que importa.
3. Onde isso vai quebrar?
Todo modelo tem uma fronteira.
Encontre ela ANTES da produção.
4. O que precisa permanecer verdadeiro?
Competidores vão mudar estratégia.
Economia vai oscilar.
Comportamento do consumidor vai evoluir.
Seu modelo está pronto?
Nenhuma dessas perguntas é sobre código.
Todas são sobre sobrevivência.
O paradoxo da velocidade
IA me deixa 10x mais rápido. Isso é incrível. Também é perigoso.
Porque agora eu consigo:
Gerar soluções mais rápido do que consigo validá-las
Colocar modelos em produção mais rápido do que consigo entendê-los
Alcançar métricas impressionantes em problemas que acidentalmente redefini
Velocidade sem direção é só movimento.
Rapidez sem compreensão é só flailing mais rápido.
Como trabalhar com IA (sem se ferrar)
Antes de pedir código:
Escreva O QUE você quer resolver. Não COMO resolver.
Quanto mais clara a definição do problema, melhor a solução gerada.
Trate código gerado como hipótese:
A IA está sugerindo "isso PODE funcionar".
Você ainda precisa provar que funciona.
Edge cases. Pressupostos. Modos de falha.
Documente validação, não código:
Código você regenera em 5 minutos.
Conhecimento sobre onde testou, o que validou, que limitações encontrou?
Isso é ouro.
Valide durante, não depois:
Se a IA gera um pipeline, adicione testes imediatamente.
Data leakage. Distribution shift. Edge cases.
Validação tem que ser tão rápida quanto geração.
As habilidades que vão te salvar
Esqueça implementar gradient boosting do zero.
Isso a IA faz.
As habilidades que importam agora:
Decomposição de problemas → Quebrar questões vagas em problemas técnicos específicos
Auditoria de pressupostos → Identificar e testar pressupostos invisíveis na solução
Análise de modos de falha → Descobrir onde vai quebrar ANTES de quebrar
Design de validação → Criar testes que revelam se você resolveu o problema CERTO
Não são habilidades de código.
São habilidades de pensamento.
E IA não pode ensinar porque requerem julgamento sobre coisas que não estão no código.
A parte que me preocupa
Não são os modelos que falham de forma óbvia.
Zero acurácia? Alguém percebe.
Sistema crashando? Alguém investiga.
O que me tira o sono são as falhas silenciosas.
Modelo com 78% em vez de 82%.
Sistema de recomendação que funciona mas reforça vieses.
Forecast certo na média mas sistematicamente errado em subcategorias.
Esses modelos rodam por MESES.
Tomando decisões ligeiramente piores.
Invisíveis.
E assistentes de IA são ÓTIMOS em criar essas falhas sutis.
Código roda ✓
Métricas razoáveis ✓
Tudo parece ok ✓
Até você cavar fundo o suficiente.
Mas ninguém cava mais.
O código parece bom demais pra questionar.
A evolução
Habilidades técnicas não estão desaparecendo.
Estão mudando.
De: escrever código → para: validar soluções
De: implementação técnica → para: julgamento estratégico
De: construir modelos → para: garantir que vale a pena construí-los
As ferramentas lidam com as partes fáceis agora.
Isso nos deixa com as partes difíceis.
As partes que realmente importam.
E honestamente?
É exatamente onde deveríamos estar.
A pergunta que deixo para você
Quantos modelos na sua empresa foram colocados em produção nos últimos 3 meses?
Quantos foram realmente validados além de "métricas parecem boas"?
Quanto você confia que eles estão resolvendo o problema CERTO?
Se a resposta te incomoda, não está sozinho.
Mas agora você sabe o que perguntar.
Esta é a 9ª edição da AI Weekly.
Se você trabalha com dados ou IA, me conta nos comentários:
→ Você já pegou um modelo "perfeito" resolvendo o problema errado?
→ Como você valida soluções assistidas por IA na sua equipe?
→ Que pergunta você aprendeu a fazer que mudou tudo?
Vou ler cada comentário. Prometo.
E se este artigo fez sentido, compartilha com aquele cientista de dados que precisa ler isso.
Ele vai agradecer.
(Mesmo que não admita na hora)
P.S.: Na próxima edição vou falar sobre o elefante na sala que ninguém quer mencionar:
O que acontece quando seus juniors aprendem mais com ChatGPT do que com seus seniors?
Spoiler: não é o que você imagina.
Até lá!
94% de acurácia.
Código limpo, bem documentado, sem erros.
Deploy na quinta-feira.
Catástrofe na segunda.
Deixa eu te contar o que aconteceu.
Uma cientista de dados júnior estava travada há dias em um problema de classificação daqueles que fazem você questionar suas escolhas de carreira.
Dataset bagunçado. Features correlacionadas. Target desbalanceado. Você conhece a história.
Então ela fez o que todos estão fazendo agora: colou o problema no ChatGPT.
Em 10 minutos tinha uma solução completa.
Pré-processamento, modelo, avaliação, visualizações.
Tudo funcionando. 94% de acurácia.
A equipe celebrou. Eu teria celebrado também.
Quinta-feira: modelo em produção.
Segunda-feira: sistema caiu. Completamente.
E aqui está a parte assustadora...
O Código Estava Perfeito
Não era bug.
Não era erro de sintaxe.
Não era problema de performance.
O código fazia exatamente o que deveria fazer.
Só que estava resolvendo o problema errado.
Deixa eu explicar o que a IA não conseguiu entender (e o que ninguém percebeu até ser tarde demais):
O objetivo era prever se NOVOS clientes responderiam a uma campanha de marketing.
O que a IA construiu?
Um modelo que previa se clientes que JÁ TINHAM VISTO campanhas anteriores responderiam novamente.
Parece sutil. Não é.
É a diferença entre:
"Este cliente novo vai comprar?"
"Este cliente antigo costuma comprar?"
O modelo tinha 94% de acurácia em memorizar o passado.
Zero capacidade de prever o futuro.
E ninguém percebeu porque o código era LINDO.
Aqui está o problema real
Sabe aquele código bagunçado que você escreve às 2h da manhã?
Variáveis chamadas "temp" e "x2".
TODOs por todo lado.
Funções gigantes porque você ainda não sabe como refatorar.
Aquele código tem um superpoder: ele grita "EU NÃO TENHO CERTEZA".
Quando alguém revisa, faz perguntas.
Questiona escolhas.
Desafia pressupostos.
Agora compare com código gerado por IA:
✓ Funções com nomes perfeitos
✓ Variáveis semânticas
✓ Comentários úteis
✓ Estrutura impecável
✓ Zero code smells
Esse código sussurra:
"Pode confiar, está tudo certo".
E nós confiamos.
É aí que mora o perigo.
Código confiante nos faz parar de fazer perguntas.
E as perguntas são exatamente o que precisamos fazer MAIS agora, não menos.
As perguntas que paramos de fazer
Antes da IA:
"Por que você fez loop no dataframe em vez de vetorizar?"
"Por que esse valor está hardcoded?"
"Por que você escolheu essa métrica?"
Essas perguntas não eram sobre código. Eram sobre compreensão.
As escolhas que alguém faz ao codificar revelam o que essa pessoa entende sobre o problema.
Agora?
O código chega pronto. Vetorizado. Configurável. Métrica padrão.
E as perguntas profundas ficaram invisíveis:
→ Este pré-processamento faz sentido para ESTES dados?
→ Esta métrica é apropriada para ESTE problema de negócio?
→ Esta divisão treino-teste reflete como o modelo será REALMENTE usado?
A IA resolve problemas técnicos.
Mas quem valida se estamos resolvendo o problema CERTO?
A habilidade que ninguém te ensinou
Você precisa aprender a ler o que NÃO está escrito.
Os pressupostos invisíveis.
As alternativas não consideradas.
Os edge cases não contemplados.
Olha aquele modelo de marketing de novo.
Em lugar nenhum do código está escrito:
"ATENÇÃO: assumindo que dados de treino e produção têm a mesma distribuição".
Esse pressuposto está ASSADO na abordagem.
Treina em histórico. Testa em histórico. Deploy em novos clientes.
A incompatibilidade é óbvia... quando você para pra pensar.
Mas quem está parando pra pensar quando o código parece tão profissional?
O que validação realmente significa agora
Quando alguém traz um modelo assistido por IA, esqueça as perguntas técnicas.
Faça estas:
1. O teste representa a produção?
Não "separamos 20% aleatoriamente".
Mas: "o que o modelo verá em produção é estruturalmente similar ao teste?"
2. O que o modelo está REALMENTE aprendendo?
Crie dados sintéticos.
Isole padrões.
Force o modelo a revelar o que importa.
3. Onde isso vai quebrar?
Todo modelo tem uma fronteira.
Encontre ela ANTES da produção.
4. O que precisa permanecer verdadeiro?
Competidores vão mudar estratégia.
Economia vai oscilar.
Comportamento do consumidor vai evoluir.
Seu modelo está pronto?
Nenhuma dessas perguntas é sobre código.
Todas são sobre sobrevivência.
O paradoxo da velocidade
IA me deixa 10x mais rápido. Isso é incrível. Também é perigoso.
Porque agora eu consigo:
Gerar soluções mais rápido do que consigo validá-las
Colocar modelos em produção mais rápido do que consigo entendê-los
Alcançar métricas impressionantes em problemas que acidentalmente redefini
Velocidade sem direção é só movimento.
Rapidez sem compreensão é só flailing mais rápido.
Como trabalhar com IA (sem se ferrar)
Antes de pedir código:
Escreva O QUE você quer resolver. Não COMO resolver.
Quanto mais clara a definição do problema, melhor a solução gerada.
Trate código gerado como hipótese:
A IA está sugerindo "isso PODE funcionar".
Você ainda precisa provar que funciona.
Edge cases. Pressupostos. Modos de falha.
Documente validação, não código:
Código você regenera em 5 minutos.
Conhecimento sobre onde testou, o que validou, que limitações encontrou?
Isso é ouro.
Valide durante, não depois:
Se a IA gera um pipeline, adicione testes imediatamente.
Data leakage. Distribution shift. Edge cases.
Validação tem que ser tão rápida quanto geração.
As habilidades que vão te salvar
Esqueça implementar gradient boosting do zero.
Isso a IA faz.
As habilidades que importam agora:
Decomposição de problemas → Quebrar questões vagas em problemas técnicos específicos
Auditoria de pressupostos → Identificar e testar pressupostos invisíveis na solução
Análise de modos de falha → Descobrir onde vai quebrar ANTES de quebrar
Design de validação → Criar testes que revelam se você resolveu o problema CERTO
Não são habilidades de código.
São habilidades de pensamento.
E IA não pode ensinar porque requerem julgamento sobre coisas que não estão no código.
A parte que me preocupa
Não são os modelos que falham de forma óbvia.
Zero acurácia? Alguém percebe.
Sistema crashando? Alguém investiga.
O que me tira o sono são as falhas silenciosas.
Modelo com 78% em vez de 82%.
Sistema de recomendação que funciona mas reforça vieses.
Forecast certo na média mas sistematicamente errado em subcategorias.
Esses modelos rodam por MESES.
Tomando decisões ligeiramente piores.
Invisíveis.
E assistentes de IA são ÓTIMOS em criar essas falhas sutis.
Código roda ✓
Métricas razoáveis ✓
Tudo parece ok ✓
Até você cavar fundo o suficiente.
Mas ninguém cava mais.
O código parece bom demais pra questionar.
A evolução
Habilidades técnicas não estão desaparecendo.
Estão mudando.
De: escrever código → para: validar soluções
De: implementação técnica → para: julgamento estratégico
De: construir modelos → para: garantir que vale a pena construí-los
As ferramentas lidam com as partes fáceis agora.
Isso nos deixa com as partes difíceis.
As partes que realmente importam.
E honestamente?
É exatamente onde deveríamos estar.
A pergunta que deixo para você
Quantos modelos na sua empresa foram colocados em produção nos últimos 3 meses?
Quantos foram realmente validados além de "métricas parecem boas"?
Quanto você confia que eles estão resolvendo o problema CERTO?
Se a resposta te incomoda, não está sozinho.
Mas agora você sabe o que perguntar.
Esta é a 9ª edição da AI Weekly.
Se você trabalha com dados ou IA, me conta nos comentários:
→ Você já pegou um modelo "perfeito" resolvendo o problema errado?
→ Como você valida soluções assistidas por IA na sua equipe?
→ Que pergunta você aprendeu a fazer que mudou tudo?
Vou ler cada comentário. Prometo.
E se este artigo fez sentido, compartilha com aquele cientista de dados que precisa ler isso.
Ele vai agradecer.
(Mesmo que não admita na hora)
P.S.: Na próxima edição vou falar sobre o elefante na sala que ninguém quer mencionar:
O que acontece quando seus juniors aprendem mais com ChatGPT do que com seus seniors?
Spoiler: não é o que você imagina.
Até lá!
94% de acurácia.
Código limpo, bem documentado, sem erros.
Deploy na quinta-feira.
Catástrofe na segunda.
Deixa eu te contar o que aconteceu.
Uma cientista de dados júnior estava travada há dias em um problema de classificação daqueles que fazem você questionar suas escolhas de carreira.
Dataset bagunçado. Features correlacionadas. Target desbalanceado. Você conhece a história.
Então ela fez o que todos estão fazendo agora: colou o problema no ChatGPT.
Em 10 minutos tinha uma solução completa.
Pré-processamento, modelo, avaliação, visualizações.
Tudo funcionando. 94% de acurácia.
A equipe celebrou. Eu teria celebrado também.
Quinta-feira: modelo em produção.
Segunda-feira: sistema caiu. Completamente.
E aqui está a parte assustadora...
O Código Estava Perfeito
Não era bug.
Não era erro de sintaxe.
Não era problema de performance.
O código fazia exatamente o que deveria fazer.
Só que estava resolvendo o problema errado.
Deixa eu explicar o que a IA não conseguiu entender (e o que ninguém percebeu até ser tarde demais):
O objetivo era prever se NOVOS clientes responderiam a uma campanha de marketing.
O que a IA construiu?
Um modelo que previa se clientes que JÁ TINHAM VISTO campanhas anteriores responderiam novamente.
Parece sutil. Não é.
É a diferença entre:
"Este cliente novo vai comprar?"
"Este cliente antigo costuma comprar?"
O modelo tinha 94% de acurácia em memorizar o passado.
Zero capacidade de prever o futuro.
E ninguém percebeu porque o código era LINDO.
Aqui está o problema real
Sabe aquele código bagunçado que você escreve às 2h da manhã?
Variáveis chamadas "temp" e "x2".
TODOs por todo lado.
Funções gigantes porque você ainda não sabe como refatorar.
Aquele código tem um superpoder: ele grita "EU NÃO TENHO CERTEZA".
Quando alguém revisa, faz perguntas.
Questiona escolhas.
Desafia pressupostos.
Agora compare com código gerado por IA:
✓ Funções com nomes perfeitos
✓ Variáveis semânticas
✓ Comentários úteis
✓ Estrutura impecável
✓ Zero code smells
Esse código sussurra:
"Pode confiar, está tudo certo".
E nós confiamos.
É aí que mora o perigo.
Código confiante nos faz parar de fazer perguntas.
E as perguntas são exatamente o que precisamos fazer MAIS agora, não menos.
As perguntas que paramos de fazer
Antes da IA:
"Por que você fez loop no dataframe em vez de vetorizar?"
"Por que esse valor está hardcoded?"
"Por que você escolheu essa métrica?"
Essas perguntas não eram sobre código. Eram sobre compreensão.
As escolhas que alguém faz ao codificar revelam o que essa pessoa entende sobre o problema.
Agora?
O código chega pronto. Vetorizado. Configurável. Métrica padrão.
E as perguntas profundas ficaram invisíveis:
→ Este pré-processamento faz sentido para ESTES dados?
→ Esta métrica é apropriada para ESTE problema de negócio?
→ Esta divisão treino-teste reflete como o modelo será REALMENTE usado?
A IA resolve problemas técnicos.
Mas quem valida se estamos resolvendo o problema CERTO?
A habilidade que ninguém te ensinou
Você precisa aprender a ler o que NÃO está escrito.
Os pressupostos invisíveis.
As alternativas não consideradas.
Os edge cases não contemplados.
Olha aquele modelo de marketing de novo.
Em lugar nenhum do código está escrito:
"ATENÇÃO: assumindo que dados de treino e produção têm a mesma distribuição".
Esse pressuposto está ASSADO na abordagem.
Treina em histórico. Testa em histórico. Deploy em novos clientes.
A incompatibilidade é óbvia... quando você para pra pensar.
Mas quem está parando pra pensar quando o código parece tão profissional?
O que validação realmente significa agora
Quando alguém traz um modelo assistido por IA, esqueça as perguntas técnicas.
Faça estas:
1. O teste representa a produção?
Não "separamos 20% aleatoriamente".
Mas: "o que o modelo verá em produção é estruturalmente similar ao teste?"
2. O que o modelo está REALMENTE aprendendo?
Crie dados sintéticos.
Isole padrões.
Force o modelo a revelar o que importa.
3. Onde isso vai quebrar?
Todo modelo tem uma fronteira.
Encontre ela ANTES da produção.
4. O que precisa permanecer verdadeiro?
Competidores vão mudar estratégia.
Economia vai oscilar.
Comportamento do consumidor vai evoluir.
Seu modelo está pronto?
Nenhuma dessas perguntas é sobre código.
Todas são sobre sobrevivência.
O paradoxo da velocidade
IA me deixa 10x mais rápido. Isso é incrível. Também é perigoso.
Porque agora eu consigo:
Gerar soluções mais rápido do que consigo validá-las
Colocar modelos em produção mais rápido do que consigo entendê-los
Alcançar métricas impressionantes em problemas que acidentalmente redefini
Velocidade sem direção é só movimento.
Rapidez sem compreensão é só flailing mais rápido.
Como trabalhar com IA (sem se ferrar)
Antes de pedir código:
Escreva O QUE você quer resolver. Não COMO resolver.
Quanto mais clara a definição do problema, melhor a solução gerada.
Trate código gerado como hipótese:
A IA está sugerindo "isso PODE funcionar".
Você ainda precisa provar que funciona.
Edge cases. Pressupostos. Modos de falha.
Documente validação, não código:
Código você regenera em 5 minutos.
Conhecimento sobre onde testou, o que validou, que limitações encontrou?
Isso é ouro.
Valide durante, não depois:
Se a IA gera um pipeline, adicione testes imediatamente.
Data leakage. Distribution shift. Edge cases.
Validação tem que ser tão rápida quanto geração.
As habilidades que vão te salvar
Esqueça implementar gradient boosting do zero.
Isso a IA faz.
As habilidades que importam agora:
Decomposição de problemas → Quebrar questões vagas em problemas técnicos específicos
Auditoria de pressupostos → Identificar e testar pressupostos invisíveis na solução
Análise de modos de falha → Descobrir onde vai quebrar ANTES de quebrar
Design de validação → Criar testes que revelam se você resolveu o problema CERTO
Não são habilidades de código.
São habilidades de pensamento.
E IA não pode ensinar porque requerem julgamento sobre coisas que não estão no código.
A parte que me preocupa
Não são os modelos que falham de forma óbvia.
Zero acurácia? Alguém percebe.
Sistema crashando? Alguém investiga.
O que me tira o sono são as falhas silenciosas.
Modelo com 78% em vez de 82%.
Sistema de recomendação que funciona mas reforça vieses.
Forecast certo na média mas sistematicamente errado em subcategorias.
Esses modelos rodam por MESES.
Tomando decisões ligeiramente piores.
Invisíveis.
E assistentes de IA são ÓTIMOS em criar essas falhas sutis.
Código roda ✓
Métricas razoáveis ✓
Tudo parece ok ✓
Até você cavar fundo o suficiente.
Mas ninguém cava mais.
O código parece bom demais pra questionar.
A evolução
Habilidades técnicas não estão desaparecendo.
Estão mudando.
De: escrever código → para: validar soluções
De: implementação técnica → para: julgamento estratégico
De: construir modelos → para: garantir que vale a pena construí-los
As ferramentas lidam com as partes fáceis agora.
Isso nos deixa com as partes difíceis.
As partes que realmente importam.
E honestamente?
É exatamente onde deveríamos estar.
A pergunta que deixo para você
Quantos modelos na sua empresa foram colocados em produção nos últimos 3 meses?
Quantos foram realmente validados além de "métricas parecem boas"?
Quanto você confia que eles estão resolvendo o problema CERTO?
Se a resposta te incomoda, não está sozinho.
Mas agora você sabe o que perguntar.
Esta é a 9ª edição da AI Weekly.
Se você trabalha com dados ou IA, me conta nos comentários:
→ Você já pegou um modelo "perfeito" resolvendo o problema errado?
→ Como você valida soluções assistidas por IA na sua equipe?
→ Que pergunta você aprendeu a fazer que mudou tudo?
Vou ler cada comentário. Prometo.
E se este artigo fez sentido, compartilha com aquele cientista de dados que precisa ler isso.
Ele vai agradecer.
(Mesmo que não admita na hora)
P.S.: Na próxima edição vou falar sobre o elefante na sala que ninguém quer mencionar:
O que acontece quando seus juniors aprendem mais com ChatGPT do que com seus seniors?
Spoiler: não é o que você imagina.
Até lá!
94% de acurácia.
Código limpo, bem documentado, sem erros.
Deploy na quinta-feira.
Catástrofe na segunda.
Deixa eu te contar o que aconteceu.
Uma cientista de dados júnior estava travada há dias em um problema de classificação daqueles que fazem você questionar suas escolhas de carreira.
Dataset bagunçado. Features correlacionadas. Target desbalanceado. Você conhece a história.
Então ela fez o que todos estão fazendo agora: colou o problema no ChatGPT.
Em 10 minutos tinha uma solução completa.
Pré-processamento, modelo, avaliação, visualizações.
Tudo funcionando. 94% de acurácia.
A equipe celebrou. Eu teria celebrado também.
Quinta-feira: modelo em produção.
Segunda-feira: sistema caiu. Completamente.
E aqui está a parte assustadora...
O Código Estava Perfeito
Não era bug.
Não era erro de sintaxe.
Não era problema de performance.
O código fazia exatamente o que deveria fazer.
Só que estava resolvendo o problema errado.
Deixa eu explicar o que a IA não conseguiu entender (e o que ninguém percebeu até ser tarde demais):
O objetivo era prever se NOVOS clientes responderiam a uma campanha de marketing.
O que a IA construiu?
Um modelo que previa se clientes que JÁ TINHAM VISTO campanhas anteriores responderiam novamente.
Parece sutil. Não é.
É a diferença entre:
"Este cliente novo vai comprar?"
"Este cliente antigo costuma comprar?"
O modelo tinha 94% de acurácia em memorizar o passado.
Zero capacidade de prever o futuro.
E ninguém percebeu porque o código era LINDO.
Aqui está o problema real
Sabe aquele código bagunçado que você escreve às 2h da manhã?
Variáveis chamadas "temp" e "x2".
TODOs por todo lado.
Funções gigantes porque você ainda não sabe como refatorar.
Aquele código tem um superpoder: ele grita "EU NÃO TENHO CERTEZA".
Quando alguém revisa, faz perguntas.
Questiona escolhas.
Desafia pressupostos.
Agora compare com código gerado por IA:
✓ Funções com nomes perfeitos
✓ Variáveis semânticas
✓ Comentários úteis
✓ Estrutura impecável
✓ Zero code smells
Esse código sussurra:
"Pode confiar, está tudo certo".
E nós confiamos.
É aí que mora o perigo.
Código confiante nos faz parar de fazer perguntas.
E as perguntas são exatamente o que precisamos fazer MAIS agora, não menos.
As perguntas que paramos de fazer
Antes da IA:
"Por que você fez loop no dataframe em vez de vetorizar?"
"Por que esse valor está hardcoded?"
"Por que você escolheu essa métrica?"
Essas perguntas não eram sobre código. Eram sobre compreensão.
As escolhas que alguém faz ao codificar revelam o que essa pessoa entende sobre o problema.
Agora?
O código chega pronto. Vetorizado. Configurável. Métrica padrão.
E as perguntas profundas ficaram invisíveis:
→ Este pré-processamento faz sentido para ESTES dados?
→ Esta métrica é apropriada para ESTE problema de negócio?
→ Esta divisão treino-teste reflete como o modelo será REALMENTE usado?
A IA resolve problemas técnicos.
Mas quem valida se estamos resolvendo o problema CERTO?
A habilidade que ninguém te ensinou
Você precisa aprender a ler o que NÃO está escrito.
Os pressupostos invisíveis.
As alternativas não consideradas.
Os edge cases não contemplados.
Olha aquele modelo de marketing de novo.
Em lugar nenhum do código está escrito:
"ATENÇÃO: assumindo que dados de treino e produção têm a mesma distribuição".
Esse pressuposto está ASSADO na abordagem.
Treina em histórico. Testa em histórico. Deploy em novos clientes.
A incompatibilidade é óbvia... quando você para pra pensar.
Mas quem está parando pra pensar quando o código parece tão profissional?
O que validação realmente significa agora
Quando alguém traz um modelo assistido por IA, esqueça as perguntas técnicas.
Faça estas:
1. O teste representa a produção?
Não "separamos 20% aleatoriamente".
Mas: "o que o modelo verá em produção é estruturalmente similar ao teste?"
2. O que o modelo está REALMENTE aprendendo?
Crie dados sintéticos.
Isole padrões.
Force o modelo a revelar o que importa.
3. Onde isso vai quebrar?
Todo modelo tem uma fronteira.
Encontre ela ANTES da produção.
4. O que precisa permanecer verdadeiro?
Competidores vão mudar estratégia.
Economia vai oscilar.
Comportamento do consumidor vai evoluir.
Seu modelo está pronto?
Nenhuma dessas perguntas é sobre código.
Todas são sobre sobrevivência.
O paradoxo da velocidade
IA me deixa 10x mais rápido. Isso é incrível. Também é perigoso.
Porque agora eu consigo:
Gerar soluções mais rápido do que consigo validá-las
Colocar modelos em produção mais rápido do que consigo entendê-los
Alcançar métricas impressionantes em problemas que acidentalmente redefini
Velocidade sem direção é só movimento.
Rapidez sem compreensão é só flailing mais rápido.
Como trabalhar com IA (sem se ferrar)
Antes de pedir código:
Escreva O QUE você quer resolver. Não COMO resolver.
Quanto mais clara a definição do problema, melhor a solução gerada.
Trate código gerado como hipótese:
A IA está sugerindo "isso PODE funcionar".
Você ainda precisa provar que funciona.
Edge cases. Pressupostos. Modos de falha.
Documente validação, não código:
Código você regenera em 5 minutos.
Conhecimento sobre onde testou, o que validou, que limitações encontrou?
Isso é ouro.
Valide durante, não depois:
Se a IA gera um pipeline, adicione testes imediatamente.
Data leakage. Distribution shift. Edge cases.
Validação tem que ser tão rápida quanto geração.
As habilidades que vão te salvar
Esqueça implementar gradient boosting do zero.
Isso a IA faz.
As habilidades que importam agora:
Decomposição de problemas → Quebrar questões vagas em problemas técnicos específicos
Auditoria de pressupostos → Identificar e testar pressupostos invisíveis na solução
Análise de modos de falha → Descobrir onde vai quebrar ANTES de quebrar
Design de validação → Criar testes que revelam se você resolveu o problema CERTO
Não são habilidades de código.
São habilidades de pensamento.
E IA não pode ensinar porque requerem julgamento sobre coisas que não estão no código.
A parte que me preocupa
Não são os modelos que falham de forma óbvia.
Zero acurácia? Alguém percebe.
Sistema crashando? Alguém investiga.
O que me tira o sono são as falhas silenciosas.
Modelo com 78% em vez de 82%.
Sistema de recomendação que funciona mas reforça vieses.
Forecast certo na média mas sistematicamente errado em subcategorias.
Esses modelos rodam por MESES.
Tomando decisões ligeiramente piores.
Invisíveis.
E assistentes de IA são ÓTIMOS em criar essas falhas sutis.
Código roda ✓
Métricas razoáveis ✓
Tudo parece ok ✓
Até você cavar fundo o suficiente.
Mas ninguém cava mais.
O código parece bom demais pra questionar.
A evolução
Habilidades técnicas não estão desaparecendo.
Estão mudando.
De: escrever código → para: validar soluções
De: implementação técnica → para: julgamento estratégico
De: construir modelos → para: garantir que vale a pena construí-los
As ferramentas lidam com as partes fáceis agora.
Isso nos deixa com as partes difíceis.
As partes que realmente importam.
E honestamente?
É exatamente onde deveríamos estar.
A pergunta que deixo para você
Quantos modelos na sua empresa foram colocados em produção nos últimos 3 meses?
Quantos foram realmente validados além de "métricas parecem boas"?
Quanto você confia que eles estão resolvendo o problema CERTO?
Se a resposta te incomoda, não está sozinho.
Mas agora você sabe o que perguntar.
Esta é a 9ª edição da AI Weekly.
Se você trabalha com dados ou IA, me conta nos comentários:
→ Você já pegou um modelo "perfeito" resolvendo o problema errado?
→ Como você valida soluções assistidas por IA na sua equipe?
→ Que pergunta você aprendeu a fazer que mudou tudo?
Vou ler cada comentário. Prometo.
E se este artigo fez sentido, compartilha com aquele cientista de dados que precisa ler isso.
Ele vai agradecer.
(Mesmo que não admita na hora)
P.S.: Na próxima edição vou falar sobre o elefante na sala que ninguém quer mencionar:
O que acontece quando seus juniors aprendem mais com ChatGPT do que com seus seniors?
Spoiler: não é o que você imagina.
Até lá!
Explore mais conteúdos da
AI Weekly
Serviços de Consultoria Especializados em
AI para empresas
Serviços de Consultoria Especializados em AI para empresas
Além do AI Discovery, oferecemos serviços complementares para empresas em diferentes estágios de maturidade
