ChatGPT говорит ерунду, заставляя эту компанию всю ночь разрабатывать новые функции! Абсурдная реальность и возможности ИИ-галлюцинаций.

ChatGPT вводит пользователей в заблуждение, заставляя их загружать несоответствующие данные, что неожиданно побуждает интерактивную платформу музыкальных партитур Soundslice разработать новую функцию, выявляя влияние и возможности иллюзий ИИ на продуктовую стратегию? (Предыстория: ИИ забирает чьи-то рабочие места? 4 миллиона записей чатов раскрыли ответ) (Фоновая информация: ИИ действительно начинает забирать рабочие места у людей》мировые компании ускоряют увольнения, выпускники университетов США сразу остаются без работы..) Сотни писем с приложенными скриншотами ChatGPT в службе поддержки недавно затопили интерактивную платформу музыкальных партитур Soundslice, утверждая, что GPT сказал им просто «бросить ASCII-гитарную партитуру в Soundslice, и она будет немедленно преобразована в интерактивную партитуру». Но это короткое, на первый взгляд, дружелюбное указание ИИ привело Soundslice к многодневному цунами ошибок в логах. Оказалось, что ChatGPT сказал пользователям, что платформа поддерживает функцию перевода ASCII Tab, которая на самом деле вообще не существует. Когда сотни пользователей следуют указаниям и постоянно сталкиваются с проблемами, инженеры осознают, что иллюзии ИИ подталкивают призрачный спрос в реальный мир. На самом деле ChatGPT сказал людям создать счет в Soundslice и затем импортировать ASCII-метки, чтобы услышать воспроизведение аудио. Вот так это объясняет! Иллюзия ИИ создает проблемы: от журналов ошибок до рыночного спроса Soundslice — это стартап, который использует технологию OMR AI для сканирования традиционных нотных партитур и создания интерактивных учебных материалов, но в начале 2025 года серверы неожиданно наполнились множеством неудачных запросов, все из которых указывают на «загрузку ASCII Tab». Официальное расследование установило источник, который обнаружил, что многие пользователи прикрепили скриншоты своих разговоров с ChatGPT, и только тогда стало понятно, что ИИ не только «выдумал» функцию, но и был уверен в ней, что привело к серьезной диспропорции между имиджем бренда и ожиданиями пользователей. Исходная функция, предоставляемая Soundslice, позволяла пользователям просто загружать нотные партитуры (как показано на левой стороне нижеприведенного изображения), чтобы преобразовать их в воспроизводимые и редактируемые цифровые ноты, но пользователи, введенные в заблуждение GPT, загружали ASCII tab ноты (как показано на правой стороне нижеприведенного изображения). Источник изображения: Сооснователь Soundslice Адриан Холовати Скриншот с официального сайта Soundslice Принужденная продуктовая итерация: трудный выбор Столкнувшись с наплывом призрачного спроса, Soundslice имеет три пути: игнорировать, прояснить или просто реализовать. После размышлений команда управления пришла к выводу, что игнорирование не сработает, а объявление может остановить кровотечение, но это может разочаровать пользователей, поэтому было решено плыть по течению и ускорить выпуск функции разбора ASCII Tab (которую они планировали разработать в 2025 году и которая была в нижней части списка). Сооснователь Адриан Холовати написал в своем личном блоге: По моим сведениям, это первый случай, когда компания разрабатывает функцию из-за того, что ChatGPT ошибочно сообщил пользователям о ее существовании. (Правда?) Я делюсь этой историей, потому что она мне интересна. В то же время он также выдвинул интересный вопрос: Я чувствую себя в этом противоречиво. Мне приятно добавлять инструмент, который может помочь людям. Но мне кажется, что наше действие немного странное. Должны ли мы действительно разрабатывать какие-либо функции, чтобы реагировать на дезинформацию? Новые проблемы иллюзий ИИ, управление и возможности На самом деле Soundslice не единственная жертва (или, можно сказать, бенефициар?). GitHub Copilot также производил несуществующие названия библиотек, что вызвало атаки slopsquatting, при которых разработчики ошибочно устанавливали вредоносные пакеты (подробности см. в отчете SD Times). Отчет Coveo также указывает на то, что иллюзии ИИ разрушают надежность продукта. Но поскольку в настоящее время избежать иллюзий ИИ сложно, нужно научиться с ними справляться. Компании могут развернуть «радары наблюдения ИИ» в журналах ошибок и диалогах с сообществом, чтобы незамедлительно фиксировать ошибочные рекомендации; одновременно в дорожной карте продукта следует оставить «пуллинг иллюзий», чтобы в случае неожиданного появления потребностей в популярных функциях можно было быстро сделать MVP-валидацию. Пример Soundslice подтверждает, что призрачный спрос также может быть монетизирован или выявить скрытые потребности пользователей, но, как сказал сооснователь Адриан Холовати, правильно ли они поступают? Команде управления стоит серьезно об этом подумать. Связанные сообщения Маск говорит, что знания ИИ слишком ошибочны «Grok3.5 нужно перестроить правильную версию человечества»; CZ отвечает: единообразная историческая перспектива может создать проблемы. Цукерберг предсказывает, что мобильные телефоны будут устаревать! Умные очки ИИ + голографическая проекция — вот будущее человечества. Люди действительно полюбят ИИ? GPT-4o начинает проявлять "эмоциональную привязанность", будет ли виртуальный партнер вашим соперником? <ChatGPT чепуха, что заставило эту компанию работать над разработкой новой функции! Абсурдная реальность и возможности иллюзий ИИ> эта статья впервые была опубликована в BlockTempo "Динамика движения - самые влиятельные новостные медиа о блокчейне".