A voz sintética do ChatGPT é tão convincente, que a OpenAI percebeu o risco de ela gerar apego emocional. Em artigo, a empresa revelou que a tecnologia acaba persuadindo o usuário a criar vínculos com ela.
As observações acerca do vínculo emocional foi descrito no tópico “Anthropomorphization and emotional reliance” (“Antropomorfização e Confiança Emocional”, em tradução livre) no artigo GPT-4o System Card.
No texto, é citado que usuários escolhidos em um estudo inicial usavam um tipo de linguagem que indicava a criação de conexões emocionais com o modelo. A pessoa costumava usar expressões mais íntimas, como “esse é o nosso último dia juntos”, durante as interações com o modelo.
A OpenAI observou que a voz sintética do ChatGPT aumenta a chance de o usuário criar vínculo emocional com o modelo.Fonte: GettyImages
A OpenAI acredita que essas ocorrências eram benignas e não necessariamente representam perigo, mas motivou a empresa a aprofundar a investigação acerca dos efeitos da ferramenta em tempos de uso mais longo.
Para a companhia de Sam Altman, a preocupação está no impacto nas relações humanas reais. “Usuários podem criar uma relação social com a inteligência artificial, reduzindo sua necessidade por interação humana. Essa consequência pode ser benéfica para indivíduos solitários, mas pode afetar relacionamentos saudáveis”, explicou a empresa.
“Interações extensas com o modelo podem influenciar normas sociais. Por exemplo, nossos modelos são respeitosos, permitindo que o usuário interrompa e ‘assuma o microfone’ a qualquer momento, o que é esperado para uma IA, mas isso não é natural em interações humanas”, explica a OpenAI.
Ao final da seção, a empresa afirma que aprofundará o estudo sobre o potencial para apego emocional dentro dos modelos e como a integração mais íntima dos sistemas pode modelar o comportamento humano.
Outros riscos da antropomorfização
Ao atribuir características humanas a um modelo de inteligência artificial, o usuário tende a depositar mais confiança nas respostas do chatbot — e isso é um problema considerando seu potencial para alucinações.
Ter uma voz extremamente convincente pode aumentar a tendência de usuários a acreditar que o modelo fala a verdade, tal como acontece em diálogos entre pessoas. Essa consequência pode aumentar a disseminação de informações falsas.
Outro risco atrelado à tecnologia é que suas travas sejam contornadas, assim apresentando respostas perigosas. Assim como acontece em textos, o modelo pode ser enganado e gerar uma interação indesejada, talvez até ofendendo o usuário ou propositalmente entregando dados falsos.