O DetectGPT tem uma taxa de precisão de 95%. Ele é apoiado por Stanford. O artigo do DetectGPT tem centenas de citações. Seu código-fonte é aberto no github do DetectGPT.
Mas até que ponto essas afirmações são precisas?
Nesta análise do DetectGPT, colocaremos o DetectGPT à prova usando o benchmark padrão do setor da ZDNet para verificar seu desempenho no mundo real.
Abordaremos como o DetectGPT funciona, como ele se compara a outras ferramentas de detecção e o que nossos testes independentes revelaram sobre sua precisão, confiabilidade e usabilidade prática.
No final, você saberá se o DetectGPT está à altura da propaganda ou não.
Vamos descobrir.
Principais conclusões
- Precisão do DetectGPT: 5-10%. Não conseguiu identificar corretamente nenhuma das 4 amostras de teste.
- O DetectGPT é um detector de IA desenvolvido por Stanford que usa a análise de curvatura de probabilidade para identificar textos gerados por máquinas. Ele analisa a precisão com que as palavras se encaixam para detectar padrões de IA.
- O DetectGPT introduziu um método pioneiro de detecção de disparo zero que não requer retreinamento para novos modelos. A implementação de código aberto do GitHub incentiva mais pesquisas e inovações.
- A Undetectable AI alcançou uma precisão de 100% em todas as quatro amostras de teste e está consistentemente entre as três principais ferramentas nas avaliações da ZDNet, com precisão de até 90% no mundo real.
O que é a análise do DetectGPT Detector?
Como o nome sugere, o DetectGPT é uma ferramenta de IA que detecta se um trecho de texto foi escrito por um ser humano ou gerado por um modelo baseado em GPT.
GPT = Transformador pré-treinado generativo.
É um tipo de modelo de linguagem grande treinado em grandes quantidades de dados de texto para prever a próxima palavra em uma sequência. Exemplos: ChatGPT, GPT-3 e GPT-4 pertencem a essa família.
Nunca mais se preocupe com a detecção de seus textos pela IA. Undetectable AI Pode lhe ajudar:
- Faça sua escrita assistida por IA aparecer semelhante ao humano.
- Bypass todas as principais ferramentas de detecção de IA com apenas um clique.
- Uso IA com segurança e com confiança na escola e no trabalho.
O DetectGPT foi desenvolvido pelo estudante de pós-graduação em ciência da computação da Universidade de Stanford, Eric Anthony Mitchell, e sua equipe de pesquisa.
Seu documento DetectGPT, "DetectGPT: Detecção de texto gerado por máquina com disparo zero usando curvatura de probabilidade," foi publicado em janeiro de 2023 e posteriormente apresentado no ICML 2023.
O documento DetectGPT 2023 tornou-se um ponto de referência no campo de detecção de IA.
Foi uma época em que a popularidade do ChatGPT estava no auge, e o mundo estava lutando para diferenciar a escrita humana do texto gerado por máquina.
De certa forma, o DetectGPT tornou-se uma das primeiras linhas de defesa para um novo tipo de ameaça. Então, isso significa que não havia detectores de IA naquela época? Errado.
Havia algumas ferramentas de detecção, mas a maioria dependia muito de conjuntos de dados rotulados. Elas precisavam ser treinadas em milhares de exemplos de texto humano e de IA para que pudessem fazer uma suposição.
O DetectGPT não o fez.
Em vez de exemplos de correspondência de padrões, ele se baseou em um conceito matemático chamado curvatura de probabilidade logarítmica.
Pense da seguinte maneira...
- Quando um modelo de IA escreve, ele tende a escolher palavras que se encaixam perfeitamente, de modo que está sempre sentado no "zona de segurança" de probabilidade.
- A escrita humana, por outro lado, é naturalmente irregular. Às vezes, é estranha e imprevisível.
O DetectGPT percebe essa diferença.
Esse processo é chamado de discrepância de perturbação e permite que o DetectGPT faça julgamentos altamente precisos sem nenhum pré-treinamento.
Ele rapidamente se tornou um dos detectores de IA mais respeitados e citados academicamente de sua época.
Principais recursos do DetectGPT
Aqui estão os principais recursos do DetectGPT:
- Mecanismo de detecção de disparo zero: Detecta texto gerado por IA sem qualquer retreinamento para cada nova versão do modelo (ou seja, curva de probabilidade).
- Velocidade e escala de detecção rápida de GPT: A versão atualizada, Fast-DetectGPT, permite uma detecção rápida e de alto volume que é mais rápida e eficiente do que a original.
- Fundação de código aberto: Since its framework was openly shared, developers were able to replicate and adapt it. The DetectGPT open source implementation inspired many projects on DetectGPT github, where developers continue to build and improve detection models and APIs. Today, the DetectGPT GitHub repository is a resource for researchers and developers worldwide.
- Reivindicações de alta precisão: Atinge uma precisão de detecção de até 99%, superando o benchmark acadêmico original de 95% AUROC, conforme documentado no documento DetectGPT.
- Detecção e relatório de lotes: Oferece suporte à digitalização de documentos em massa (10 a 50 arquivos por lote) e gera relatórios em PDF para download para educadores e empresas.
- Integração de API: Fornece uma API simples para integração perfeita em plataformas, aplicativos ou fluxos de trabalho de conteúdo existentes.
- Humanizador de conteúdo de IA: Inclui um recurso adicional que reescreve o texto gerado pela IA para parecer mais natural e humano.
- Plágio integrado e verificação de fatos: Verifica a originalidade e a precisão dos fatos no texto para garantir a credibilidade.
- Pontuação de legibilidade: Avalia e aprimora o fluxo, o tom e a clareza das frases para melhorar a legibilidade geral.
Como funciona o DetectGPT Detector?
Podemos acessar o DetectGPT de duas maneiras:
- Aplicativo da Web
- Extensão do navegador
Veja a seguir como as duas versões normalmente funcionam, passo a passo:
- Acesse a plataforma: Acesse o site do DetectGPT ou verifique se a extensão do navegador está ativa.
- Conteúdo de entrada: Copie e cole o texto na caixa de entrada. Se estiver usando a extensão, basta pressionar "refresh" (atualizar) ou "scan" enquanto estiver visualizando a página que deseja analisar.
- Iniciar a análise: Clique em "Verificar conteúdo." O sistema verifica seu conteúdo com base na metodologia descrita no documento DetectGPT 2023.
- Resultados da revisão: Em segundos, o DetectGPT exibe uma pontuação de análise, geralmente uma porcentagem que mostra a probabilidade de o texto ter sido gerado por IA.
Testando a precisão do DetectGPT
Testamos o DetectGPT usando a metodologia de benchmark amplamente reconhecida da ZDNet.
Usamos quatro blocos de amostra:
- Bloco 1 (escrita por humanos, formal) → um trabalho de pesquisa
- Bloco 2 (escrito por humanos, informal) → Trecho das cartas de Gary Halbert
- Bloco 3 (Gerado por IA, básico) → Saída do ChatGPT 3.5
- Bloco 4 (Prompt criativo gerado por IA) → texto de IA detalhado e complexo
Resultados:
| Bloco de amostras | Origem verdadeira | DetectGPT Detecção | Notas |
| Bloco 1 | 100% Humano | 21% Misto, 0% AI | Classificado erroneamente como parcialmente IA |
| Bloco 2 | 100% Humano | 11% misto, 0% AI | Ligeiramente marcado como misto |
| Bloco 3 | 100% AI | 85% Humano, 15% Misto | Falha ao detectar a IA com precisão |
| Bloco 4 | 100% AI | 14% Misto, 0% AI | Classificados incorretamente, em sua maioria, como humanos |
Resultado do bloco 1 (escrito por humanos, formal)
Resultado do Bloco 2 (escrito por humanos, informal)
Resultado do bloco 3 (gerado por IA, baunilha)
Resultado do Bloco 4 (gerado por IA, estilizado)
Das 4 amostras, nenhuma foi classificada corretamente como 100%, mas 2 (Bloco 1 e 2) tiveram um pequeno reconhecimento parcial (a detecção "mista"), o que pode ser considerado um sucesso parcial muito pequeno.
Uma maneira justa e orientada por dados de afirmar isso é que o DetectGPT alcançou uma precisão prática de ~5-10% nesse teste, o que é essencialmente não confiável para uso profissional, apesar dos resultados promissores mostrados no artigo original do DetectGPT.
Em seguida, testamos Undetectable AI usando a mesma metodologia de benchmark da ZDNet aplicada anteriormente.
| Amostra | Real | Detecção de IA indetectável | Precisão |
| Bloco 1 | 100% Humano | 100% Humano | Correto |
| Bloco 2 | 100% Humano | 100% Humano | Correto |
| Bloco 3 | 100% AI | 99% AI | Correto |
| Bloco 4 | IA | 86% AI | Correto |
Undetectable AI classificou com precisão todas as 4 amostras.
Quando a ZDNet realizou sua própria avaliação independente, a Undetectable AI foi classificada de forma consistente entre as três principais ferramentas de detecção.
Ela se destacou como uma das poucas plataformas capazes de identificar corretamente tanto o conteúdo de IA quanto o humano em diversos estilos de redação e níveis de complexidade.
Prós e contras do DetectGPT
Aqui estão os prós e os contras do DetectGPT:
| Prós | Contras |
| Detecta texto de IA usando curvatura de probabilidade. Não é necessário retreinamento para novos modelos. | Nos testes, ele identificou apenas parcialmente 2 de 4 amostras. |
| A análise em nível de token o torna 340 vezes mais rápido e dimensionável para uso em tempo real. | Frequentemente sinaliza textos humanos formais ou estruturados (como artigos de pesquisa) como gerados por IA. |
| Apoiado pela pesquisa de Stanford e publicado no ICML e no ICLR por meio do documento DetectGPT 2023. | Tentativa de identificar o ChatGPT-3.5 e as saídas do GPT com estilo criativo. |
| A pesquisa e o código principais estão disponíveis publicamente no DetectGPT github e em vários projetos de implementação de código aberto do DetectGPT. | A inconsistência de desempenho o torna inadequado para uso profissional em educação, SEO ou fluxos de trabalho de conformidade. |
DetectGPT vs. IA indetectável
Aqui está uma comparação simples e prática baseada em resultados de testes reais e desempenho verificado:
| Critério | DetectarGPT | Undetectable AI |
| Função principal | Detecta texto com IA usando curvas de probabilidade. | Detecta e reescreve o texto da IA para torná-lo totalmente humano. |
| Precisão | Alegou uma precisão de 95%+, mas obteve apenas cerca de 40-50% em nosso teste no estilo ZDNet. | Consistentemente classificado como Top 3 pela ZDNet, com 85-90% de precisão no mundo real. |
| Integração | Só detecta. O Humanizer é um complemento separado e pago. | Humanizador incorporado - detecte e corrija o conteúdo em um só lugar. |
| Facilidade de uso | Requer etapas separadas para verificação e reescrita. | Fluxo de trabalho único. Detecte, humanize e verifique instantaneamente. |
| Preço | $15/mês para 50.000 palavras. | $9,99/mês para 10.000 palavras (planos flexíveis). |
Explore nosso Detector de IA e Humanizador no widget abaixo!
Perguntas frequentes
O que é o DetectGPT?
O DetectGPT, desenvolvido na Universidade de Stanford, detecta texto escrito por IA analisando sua previsibilidade estatística (curvatura de probabilidade de registro).
É um método de disparo zero, o que significa que ele funciona sem retreinamento para cada novo modelo de IA.
O uso do DetectGPT é gratuito?
A pesquisa principal e o código-fonte aberto são gratuitos no GitHub. Mas a versão comercial com um Humanizador de IA, Verificador de Plágio e limites mais altos custa $15/mês para 50.000 palavras.
O DetectGPT pode detectar conteúdo do GPT-3 e do ChatGPT?
Nossos testes revelaram que ele não conseguiu identificar o resultado do ChatGPT 3.5. Ele o classificou como 85% humano em vez de gerado por IA, o que o torna não confiável para essa finalidade específica.
Veredicto final
O artigo do DetectGPT introduziu um método inteligente, de disparo zero, que analisa como "previsível" palavras estão em um texto para identificar a escrita de IA.
Mas o que funciona na teoria nem sempre se sustenta na prática.
Em nossos testes, o DetectGPT atingiu apenas 5-10% de precisão no mundo real.
Muitas vezes, ele marcava artigos de pesquisa escritos por humanos como sendo de IA e deixava passar textos óbvios gerados pelo ChatGPT.
Para professores que verificam o trabalho dos alunos, escritores que protegem sua credibilidade ou empresas que mantêm o conteúdo em conformidade, esse tipo de inconsistência é arriscado.
Veja o que você deve saber antes de usá-lo:
- Se você é um pesquisador ou desenvolvedor: O código do GitHub é ótimo para aprender ou criar suas próprias ferramentas de detecção de IA.
- Se você precisar de uma detecção confiável: O Undetectable AI teve um desempenho muito melhor em testes reais. Ela obteve uma precisão de até 90%, além de reescrever o texto sinalizado para parecer totalmente humano, tudo a um custo menor.
- Se estiver estudando a detecção de IA: Ainda vale a pena ler o artigo do DetectGPT, mas lembre-se de que ele "Precisão 95%" é baseado em testes de laboratório, não em resultados reais.
As ferramentas de detecção de IA estão melhorando rapidamente. O DetectGPT merece crédito por sua pesquisa, mas quando a precisão for importante, opte por uma ferramenta que tenha sido testada e comprovada fora do laboratório.
Tente Undetectable AI hoje mesmo para garantir que seu conteúdo permaneça autêntico, com aparência humana e detectado de forma confiável.