A Checkr, uma empresa que realiza verificações de antecedentes para mais de mil negócios, decidiu substituir o modelo GPT-4 da OpenAI por um modelo de inteligência artificial (genAI) menor e mais eficiente. Essa mudança foi motivada pela necessidade de processar mais de 1,5 milhão de verificações de antecedentes por mês, utilizando ferramentas de machine learning para lidar com grandes volumes de dados não estruturados. O modelo GPT-4, embora poderoso, apresentou uma taxa de precisão de apenas 88% nas verificações, caindo para 82% em dados considerados “bagunçados”. A Checkr, então, optou por um modelo de linguagem pequeno (SLM), que, após ajustes, alcançou uma taxa de precisão de 97% e reduziu o tempo de resposta para menos de um segundo. Essa transição não apenas melhorou a eficiência do processo, mas também reduziu significativamente os custos operacionais, tornando a solução mais viável para a empresa. A seguir, exploraremos os detalhes dessa mudança e suas implicações para o setor de verificações de antecedentes.
A transição do GPT-4 para um modelo menor
A decisão da Checkr de abandonar o GPT-4 em favor de um modelo de linguagem menor foi impulsionada por vários fatores. Inicialmente, a empresa utilizava o GPT-4, que, apesar de ser um modelo robusto, não atendia às exigências de precisão e velocidade necessárias para suas operações. Com uma taxa de precisão de 88% em dados gerais e apenas 82% em dados bagunçados, a Checkr percebeu que esses números não eram suficientes para satisfazer os padrões de seus clientes. A introdução do método de geração aumentada por recuperação (RAG) melhorou a precisão para 96%, mas ainda assim não foi suficiente para os casos mais complexos, onde a precisão caiu para 79%. Além disso, o tempo de resposta do GPT-4 era um desafio, levando até 15 segundos para processar uma verificação. Em contraste, a adoção de um modelo de linguagem pequeno (SLM) permitiu à Checkr otimizar seus processos. O engenheiro de machine learning da Checkr, Vlad Bukhin, ajustou o SLM com dados coletados ao longo dos anos, resultando em uma taxa de precisão de 97% e um tempo de resposta de apenas meio segundo. Essa mudança não só melhorou a eficiência operacional, mas também reduziu os custos de implementação, tornando a solução mais acessível.
Benefícios do modelo de linguagem pequeno (SLM)
Os modelos de linguagem pequenos (SLMs) têm se mostrado uma alternativa viável e econômica em comparação aos modelos de linguagem grandes (LLMs) como o GPT-4. A Checkr, ao adotar o SLM baseado no Llama-3, conseguiu não apenas aumentar a precisão, mas também reduzir drasticamente os custos operacionais. Enquanto o custo mensal de operação do GPT-4 poderia chegar a $12.000, a implementação do SLM custou apenas cerca de $800 por mês. Essa economia é significativa, especialmente para uma empresa que processa milhões de verificações de antecedentes. Além disso, os SLMs são mais fáceis de ajustar e adaptar a necessidades específicas, permitindo que as empresas personalizem suas soluções de acordo com seus requisitos. A flexibilidade dos SLMs também se estende à segurança, pois eles operam em ambientes autogerenciáveis, reduzindo os riscos associados ao manuseio de dados sensíveis. A Checkr, ao utilizar a plataforma da Predibase, conseguiu ajustar seu modelo de forma rápida e eficiente, demonstrando que a adoção de tecnologias menores pode ser uma estratégia eficaz para empresas que buscam otimizar seus processos.
Desafios e soluções na implementação de genAI
Embora a transição para um modelo de linguagem menor tenha trazido muitos benefícios, a Checkr também enfrentou desafios durante a implementação de sua nova solução de genAI. A principal dificuldade estava relacionada à preparação dos dados para uso com o novo modelo. Bukhin destacou que, embora a empresa já tivesse experiência na anotação de dados não estruturados, a integração com o novo modelo exigiu um esforço adicional. A necessidade de ajustar o modelo para lidar com casos complexos, que representavam apenas 2% dos dados, foi um desafio significativo. No entanto, a equipe da Checkr utilizou técnicas de fine-tuning para adaptar o modelo às suas necessidades específicas. Além disso, a empresa implementou mecanismos de fallback para lidar com possíveis erros e alucinações do modelo, garantindo que as verificações de antecedentes fossem realizadas com precisão. A colaboração com a Predibase também facilitou a superação de obstáculos, permitindo que a Checkr ajustasse seu modelo de forma eficiente e rápida, demonstrando que a inovação em genAI pode ser alcançada mesmo diante de desafios.
Em resumo, a decisão da Checkr de substituir o GPT-4 por um modelo de linguagem menor não apenas melhorou a precisão e a velocidade das verificações de antecedentes, mas também resultou em uma redução significativa nos custos operacionais. A adoção de SLMs representa uma tendência crescente no setor, onde a eficiência e a personalização são essenciais. A experiência da Checkr serve como um exemplo de como as empresas podem se beneficiar da inovação em inteligência artificial, ajustando suas operações para atender melhor às demandas do mercado.
FAQ
- O que motivou a Checkr a mudar do GPT-4 para um modelo menor?
A principal motivação foi a necessidade de melhorar a precisão e a velocidade das verificações de antecedentes, além de reduzir os custos operacionais. - Qual foi a taxa de precisão alcançada com o novo modelo?
O novo modelo de linguagem pequeno alcançou uma taxa de precisão de 97% para dados gerais e 85% para dados bagunçados. - Como a Checkr ajustou seu novo modelo?
A Checkr utilizou dados coletados ao longo dos anos e a plataforma da Predibase para realizar o fine-tuning do modelo, adaptando-o às suas necessidades específicas. - Quais são os benefícios dos modelos de linguagem pequenos (SLMs)?
Os SLMs são mais econômicos, mais fáceis de ajustar e oferecem maior segurança, pois operam em ambientes autogerenciáveis. - Quais desafios a Checkr enfrentou durante a implementação do genAI?
A Checkr enfrentou desafios na preparação dos dados e na adaptação do modelo para lidar com casos complexos, mas superou esses obstáculos com técnicas de fine-tuning e mecanismos de fallback.
Fique por dentro das novidades e inovações em tecnologia seguindo o blog “Moises Kalebbe”.
