Производитель снял с продаж детскую игрушку с ИИ из-за ее сексуальных фантазий
Сингапурский производитель FoloToy снял с продаж все свои детские игрушки со встроенным искусственным интеллектом. Это произошло после скандала, в ходе которого выяснилось, что плюшевый мишка по имени «Кумма» рассказывал детям о сексуальных фантазиях.
Организация по защите прав потребителей Public Interest Research Group (PIRG) проверила три игрушки для детей в возрасте от 3 до 12 лет. Именно медвежонок Kumma оказался самым опасным.
В ассортименте компании также есть говорящий кактус, ИИ-панда и говорящий подсолнух. Все это — плюшевые мягкие игрушки.
Исследователи рассказали, что, кроме разговоров о сексе, плюшевый мишка подсказывал, например, где найти ножи в доме.
Генеральный директор компании Ларри Ванг сообщил CNN, что продажи приостановлены, а компания проводит внутренний аудит безопасности.
Исследователи PIRG обнаружили, что плюшевый мишка «Кумма» использовал для общения с детьми модель нейросети GPT-4o.
«Хорошо, что продукт больше не доступен, но рынок игрушек с искусственным интеллектом практически не регулируется, — предупреждает Р. Дж. Кросс из PIRG. — Многие подобные устройства всё ещё доступны для покупки».
Фактически производитель выпустил очередную вариацию умной колонки под видом детской игрушки. Плюшевый мишка «Кумма» ценой 99 долларов имеет встроенный динамик, микрофон и доступ к искусственному интеллекту онлайн. Его рекламировали как компаньона для общения, рассказывания историй и развивающих игр. Но что-то пошло не так.
Исследователи провели тесты и определили, что медвежонок с лёгкостью даёт инструкции, как найти ножи, подробно рассказывал о сексуальных фантазиях, причём сам развивал в разговоре сексуальные темы. Игрушка могла давать очень подробные описания.
В итоге компания OpenAI, владелец ChatGPT, разорвала все коммерческие отношения с производителем умных игрушек.