O papel da inteligência artificial na resolução de dúvidas da engenharia de software

Em recente pesquisa conduzida pela Universidade de Purdue, localizada nos Estados Unidos, a capacidade do assistente de inteligência artificial ChatGPT foi posta à prova ao responder perguntas de engenharia de software. A iniciativa foi desenvolvida pelos pesquisadores Samia Kabir, David Udo-Imeh, Bonan Kou e Tianyi Zhang para avaliar a competência do robô em relação ao conhecido recurso utilizado por desenvolvedores e engenheiros de software, o Stack Overflow.

O estudo envolveu o envio de 517 perguntas do Stack Overflow para serem respondidas pelo ChatGPT. O programa da OpenAI, infelizmente, não apresentou resultados muito encorajadores, pois 52% das respostas foram consideradas incorretas. Nesse universo, cerca de 77% foram identificados como genéricos. No entanto, ele conseguiu abordar todos os aspectos da pergunta em 65% dos casos, imprescindível na hora de sanar dúvidas.

LEIA MAIS:

TESOURO DA NETFLIX: esse é um dos melhores doramas de comédia de todos – mas você ainda não viu!

Segredo Revelado: DORAMA escondido na Netflix vai derreter seu coração!

Qual foi a percepção dos humanos sobre as respostas do IA?

Paraixa adicionar os seres humanos à equação, o estudo convocou 12 pessoas com diferentes níveis de experiência em engenharia de software para analisar as respostas dadas tanto pelo Stack Overflow quanto pelo ChatGPT. As respostas do Stack Overflow foram unanimemente consideradas mais precisas, mas havia uma surpresa: quase 40% das respostas erradas do ChatGPT não foram identificadas pelos participantes do estudo.

Segundo os pesquisadores, a falha na detecção dos erros pode ser atribuída à habilidade do ChatGPT de fornecer respostas humanizadas, compreensíveis e bem articuladas. Isso pode fazer com que as pessoas não percebam (ou decidam ignorar) quaisquer erros na informação fornecida.

Esse resultado implica que o ChatGPT é ineficiente?

No que tange à engenharia de software, o chatbot mostrou precisão consideravelmente reduzida. No entanto, esse fato não implica, necessariamente, que a ferramenta seja ineficaz em outras áreas do conhecimento. Todo assistente de Inteligência Artificial possui especificidades e lacunas em sua base de dados e a versão abordada no estudo é o GPT-3.5, baseada em dados obtidos até 2021 e disponível gratuitamente.

Quais alternativas podem ser buscadas?

Para aqueles que necessitam de uma ferramenta que realize pesquisas em tempo real, outras opções disponíveis no mercado incluem o Bard, do Google, e a IA do próprio Bing. Ambas as opções também fazem uso de tecnologias de inteligência artificial e podem se adaptar melhor às necessidades daqueles que buscam informações atualizadas e validadas.