ChatGPT diz disparates, obrigando esta empresa a desenvolver novas funcionalidades durante a noite! A absurda realidade e oportunidades da ilusão da IA

ChatGPT induziu os usuários a enviarem dados fora das especificações, forçando acidentalmente a plataforma de partituras interativas Soundslice a desenvolver novas funcionalidades, revelando o impacto e as oportunidades das ilusões da IA sobre a rota do produto? (Resumo: A IA está roubando o emprego de quem? 4 milhões de registros de chat revelaram a resposta) (Contexto adicional: A IA realmente começou a roubar empregos humanos" grandes empresas aceleram demissões, graduados universitários nos EUA ficam desempregados imediatamente..) Centenas de e-mails de atendimento ao cliente com capturas de tela do ChatGPT inundaram recentemente a plataforma de partituras interativas Soundslice, afirmando que o GPT lhes disse que bastava "jogar a partitura de guitarra ASCII no Soundslice para que ela fosse imediatamente convertida em uma partitura interativa". Mas essa breve frase, aparentemente prestativa, de orientação da IA, fez com que a Soundslice enfrentasse um tsunami de registros de erros nos dias seguintes. Na verdade, o ChatGPT informou aos usuários que a funcionalidade de tradução de ASCII Tab suportada pela plataforma não existia. Quando centenas de usuários seguiram as instruções e se depararam repetidamente com obstáculos, os engenheiros perceberam que a ilusão da IA estava empurrando demandas fantasma para o mundo real. O ChatGPT informou realmente às pessoas que deveriam criar uma conta no Soundslice e, em seguida, importar etiquetas ASCII para ouvir a reprodução do áudio. Portanto, isso explica! Ilusão da IA causando problemas: de registros de erros a demandas de mercado Soundslice é uma startup que gera materiais de aprendizagem interativos ao escanear partituras tradicionais usando tecnologia OMR AI, mas no início de 2025, o servidor foi repentinamente inundado com um grande número de solicitações falhas, todas apontando para "enviar ASCII Tab". A equipe oficial investigou a origem e descobriu que muitos usuários anexaram capturas de tela de conversas com o ChatGPT, e foi assim que perceberam que a IA não apenas "fabricou" uma funcionalidade, mas também o fez com uma certeza desconcertante, levando a uma grave discrepância entre a imagem da marca e as expectativas dos usuários. A funcionalidade originalmente oferecida pela Soundslice permitia que os usuários enviassem partituras em notação de cinco linhas (como mostrado à esquerda na figura abaixo) para convertê-las em partituras digitais reproduzíveis e editáveis, mas os usuários induzidos pelo GPT estavam enviando partituras ASCII tab (como mostrado à direita na figura abaixo). Fonte da imagem: Co-fundador da Soundslice, Adrian Holovaty Captura de tela do site oficial da Soundslice Iteração forçada do produto: decisão difícil Diante da avalanche de demandas fantasma, a Soundslice tinha três opções: ignorar, esclarecer ou simplesmente implementar. Após reflexão, a equipe de gestão concluiu que ignorar não funcionaria, que um anúncio poderia estancar a sangria, mas poderia deixar os usuários desapontados, portanto, optaram por aproveitar a onda e acelerar o lançamento da funcionalidade de análise de ASCII Tab (que estava classificada mais abaixo em sua lista de software a ser desenvolvido até 2025). O co-fundador Adrian Holovaty escreveu em seu blog pessoal: Segundo o que sei, este é o primeiro caso em que uma empresa desenvolveu uma funcionalidade devido à informação errada do ChatGPT sobre a sua existência. (É mesmo?) Compartilho esta história porque acho que é bastante interessante. Ao mesmo tempo, ele também levantou um ponto provocativo: Sinto-me bastante dividido sobre isso. Fico feliz em adicionar uma ferramenta que pode ajudar as pessoas. Mas acho que o que estamos fazendo é um pouco estranho. Devemos realmente desenvolver algumas funcionalidades para lidar com informações erradas? Novos desafios da ilusão da IA, governança e oportunidades Na verdade, a Soundslice não é a única vítima (ou beneficiária?). O GitHub Copilot também gerou nomes de bibliotecas inexistentes, levando os desenvolvedores a instalar acidentalmente pacotes maliciosos em um ataque de slopsquatting (veja o relatório da SD Times). Um relatório da Coveo também indicou que as ilusões da IA estão corroendo a confiabilidade dos produtos. Mas, uma vez que as ilusões da IA ainda são difíceis de evitar neste estágio, precisamos aprender a dominá-las. As empresas podem implantar "radar de observação de IA" em registros de erros e diálogos comunitários para capturar recomendações erradas em tempo real; ao mesmo tempo, devem reservar um "reservatório de ilusão" em seus roteiros de produtos para que, quando surgirem demandas inesperadas por funcionalidades populares, possam rapidamente validar MVP. O caso da Soundslice comprova que demandas fantasma também podem ser monetizadas ou descobrir necessidades ocultas dos usuários, mas, como disse o co-fundador Adrian Holovaty, será que estão fazendo a coisa certa? A equipe de gestão ainda precisa pensar bem sobre isso. Relatórios relacionados Musk afirma que o conhecimento da IA é errado demais "Grok3.5 precisa reconstruir a versão correta da humanidade"; CZ responde: Ter uma visão única da história pode ser problemático Zuckerberg prevê que os celulares serão eliminados! Óculos inteligentes + projeção holográfica são o futuro da humanidade Os humanos realmente vão se apaixonar pela IA? O GPT-4o já mostra o fenômeno de "vínculo emocional", será que um parceiro virtual se tornará seu rival? <ChatGPT falando bobagens, forçando esta empresa a desenvolver novas funcionalidades da noite para o dia! A absurda realidade e as oportunidades das ilusões da IA> este artigo foi publicado pela primeira vez na BlockTempo "Movimento Blockchain - O meio de notícias de blockchain mais influente".