Создатели нейросети ChatGPT попытались заставить систему объяснить, что происходит в ее недрах. Однако столкнулись с проблемой, что Искусственный интеллект может использовать концепции, для которых у людей нет названий. Началось же все с того, что изобретали искусственного интеллекта признались, что не понимают, что у него происходит внутри.
Исследователи из OpenAI, разработавшей ChatGPT, использовали самую последнюю версию своей модели, известную как GPT-4, чтобы попытаться объяснить поведение GPT-2, более ранней версии. Так они пытались преодолеть так называемую проблему «черного ящика». Хотя у создателей есть относительно хорошее понимание того, что входит в ИИ и выходит из них, что происходит внутри — остается в значительной степени загадкой даже для создателей ИИ.
Проблема «черного ящика» не только затрудняет работу исследователей, но также означает, что практически невозможно предугадать, когда ИИ начнет врать и вводить в заблуждение людей.
Инженеры и ученые решили разобраться с этим вопросом. А для этого необходимо было взглянуть на «нейроны» ИИ. Точно так же, как в человеческом мозге, система искусственного интеллекта состоит из множества так называемых нейронов, которые вместе составляют единое целое.
Однако найти эти отдельные нейроны и определить их назначение сложно, поскольку экспертам приходится перебирать их и проверять вручную, чтобы выяснить, что они из себя представляют. Но некоторые нейросети имеют сотни миллиардов параметров, и поэтому на самом деле разобраться во всех них людям просто невозможно.
И чтобы узнать, что творится внутри Искусственного интеллекта, учёные привлекли… Искусственный интеллект. Исследователи из OpenAI решили использовать GPT-4 для автоматизации этого процесса, пытаясь разобраться в поведении GPT-2.
Работа шла в три этапа: учёные находили нейрон в GPT-2 и просили GPT-4 попытаться объяснить его назначение, затем моделировали, что будет делать этот нейрон, и, наконец, оценивали насколько объяснение ИИ отражало действительность.
Все пошло не так
Большинство из этих объяснений прошли неудачно, и GPT-4 получил плохую оценку.
Исследователи выказали надежду, что в дальнейшем всё-таки можно будет использовать технологию искусственного интеллекта для объяснения самой себя. Однако создатели ИИ столкнулись с целым рядом «ограничений». Часть проблемы может заключаться в том, что объяснить, как работает ИИ на обычном языке, невозможно – потому что его система может использовать отдельные понятия, которые люди ещё не придумали.
«Мы сосредоточились на кратких объяснениях на естественном языке, но нейроны могут обладать очень сложным поведением, которое невозможно описать кратко… Например, нейроны могут быть очень многозначными (представляющими множество различных понятий) или могут представлять отдельные понятия, которые люди не понимают или для которых у них нет слов», — передает слова исследователей издание The Economist.
