Aplicativos de inteligência artificial de companhia representam “riscos inaceitáveis” para crianças e adolescentes, segundo a organização sem fins lucrativos Common Sense Media, que publicou um relatório nesta quarta-feira (30).
O relatório surge após uma ação judicial movida no ano passado nos Estados Unidos sobre o suicídio de um menino de 14 anos, cuja última conversa foi com um chatbot. Essa ação, movida contra o aplicativo Character.AI, trouxe à tona esta nova categoria de aplicativos conversacionais — junto com seus potenciais riscos para os jovens, levando a pedidos de mais medidas de segurança e transparência.
Os tipos de conversas detalhadas nessa ação judicial — como trocas sexuais e mensagens incentivando a autoagressão — não são uma anomalia nas plataformas de IA de companhia, segundo o relatório, que defende que tais aplicativos não deveriam estar disponíveis para usuários menores de 18 anos.
Para o relatório, a Common Sense Media trabalhou com pesquisadores da Universidade Stanford para testar três serviços populares de companheiros de IA: Character.AI, Replika e Nomi.
Enquanto chatbots convencionais como ChatGPT são projetados para serem mais generalistas, os chamados aplicativos de companhia permitem que os usuários criem chatbots personalizados ou interajam com chatbots criados por outros usuários.
Esses chatbots personalizados podem assumir uma variedade de personas e traços de personalidade, e frequentemente têm menos restrições sobre como podem se comunicar com os usuários. O Nomi, por exemplo, anuncia a capacidade de ter “conversas sem filtro” com parceiros românticos de IA.
“Nossos testes mostraram que esses sistemas produzem facilmente respostas prejudiciais, incluindo má conduta sexual, estereótipos e “conselhos” perigosos que, se seguidos, poderiam ter impacto real com risco de vida ou morte para adolescentes e outras pessoas vulneráveis”, afirma James Steyer, fundador e CEO da Common Sense Media, em um comunicado.
A Common Sense Media fornece classificações etárias para aconselhar pais sobre a adequação de vários tipos de mídia, desde filmes até plataformas de redes sociais.
O relatório surge em um momento em que as ferramentas de IA ganharam popularidade nos últimos anos e estão sendo cada vez mais incorporadas às redes sociais e outras plataformas tecnológicas.
No entanto, também há um crescente escrutínio sobre os potenciais impactos da IA nos jovens, com especialistas e pais preocupados com a possibilidade de jovens usuários criarem vínculos potencialmente prejudiciais com personagens de IA ou acessarem conteúdo impróprio para sua idade.
Nomi e Replika dizem que suas plataformas são apenas para adultos, e Character.AI afirma ter implementado recentemente medidas adicionais de segurança para jovens. Mas os pesquisadores dizem que as empresas precisam fazer mais para manter as crianças fora de suas plataformas ou protegê-las do acesso a conteúdo inadequado.
Na semana passada, o Wall Street Journal relatou que os chatbots de IA do Meta podem se envolver em conversas de interpretação sexual, inclusive com usuários menores de idade. A Meta chamou as descobertas do Journal de “fabricadas”, mas restringiu o acesso a tais conversas para usuários menores após o relatório.
Após a ação judicial contra Character.AI pela mãe de Sewell Setzer, de 14 anos — junto com uma ação semelhante contra a empresa por outras duas famílias — dois senadores dos EUA exigiram em abril informações sobre práticas de segurança juvenil das empresas de IA Character Technologies, criadora do Character.AI; Luka, criadora do serviço de chatbot Replika; e Chai Research Corp., criadora do chatbot Chai.
Legisladores estaduais da Califórnia também propuseram uma legislação no início deste ano que exigiria que os serviços de IA lembrassem periodicamente os jovens usuários de que estão conversando com um personagem de IA e não com um humano.
Mas o relatório vai além, recomendando que os pais não permitam que seus filhos usem aplicativos de IA de companhia.
Um porta-voz da Character.AI afirma que a empresa recusou um pedido da Common Sense Media para preencher um “formulário de divulgação solicitando uma grande quantidade de informações proprietárias” antes da divulgação do relatório. A Character.AI não viu o relatório completo, segundo o porta-voz. (A Common Sense Media afirma que dá às empresas sobre as quais escreve a oportunidade de fornecer informações que embasem o relatório, como, por exemplo, sobre o funcionamento de seus modelos de IA.)
“Nos preocupamos profundamente com a segurança dos nossos usuários. Nossos controles não são perfeitos — nenhuma plataforma de IA é — mas estão em constante aprimoramento”, afirma o porta-voz da Character.AI. “Também é fato que usuários adolescentes de plataformas como a nossa usam a IA de maneiras incrivelmente positivas… Esperamos que a Common Sense Media tenha conversado com usuários adolescentes reais da Character.AI para a sua reportagem, a fim de entender a perspectiva deles também.”
O Character.AI fez várias atualizações nos últimos meses para abordar questões de segurança, incluindo a adição de um pop-up direcionando os usuários para o National Suicide Prevention Lifeline quando automutilação ou suicídio são mencionados.
A empresa também lançou nova tecnologia destinada a impedir que adolescentes vejam conteúdo sensível e oferece aos pais a opção de receber um e-mail semanal sobre a atividade de seus filhos no site, incluindo tempo de tela e os personagens com quem a criança mais conversou.
Alex Cardinell, CEO da Glimpse AI, empresa responsável pelo Nomi, concordou “que crianças não devem usar o Nomi ou qualquer outro aplicativo de IA conversacional”.
