Сознание у ИИ — вопрос, который принято либо высмеивать, либо обсуждать с придыханием. Мне интереснее третий вариант: разобрать, почему на него в принципе невозможно ответить, и что из этого следует практически.
Вопрос первый: где проходит граница
Начать стоит не с машин, а с живых существ — там наша интуиция работает лучше, и видно, где именно она ломается. У человека сознание есть — тут спорить не станут. А у собаки? А у муравья?
Зеркальный тест даёт неожиданную картину: шимпанзе, дельфины и некоторые муравьи понимают, что видят собственное отражение. Кошки и собаки — нет. Получается, что муравей себя осознаёт, а собака нет? Вывод настолько странный, что скорее ставит под сомнение сам тест.
Уже на этом шаге видно главную проблему: у нас нет определения, с которым можно работать. Мы уверенно опознаём сознание у себе подобных и теряемся везде дальше.
Обычно из положения выходят списком признаков: способность чувствовать боль, узнавать себя, планировать, страдать от одиночества. Но любой такой список собран по образцу человека — мы ищем сознание там, где оно похоже на наше. Для вопроса про сознание у ИИ этот подход заведомо негодный: система устроена не как мозг и не должна проявлять себя знакомым образом.
И наоборот: языковая модель убедительно изображает почти все пункты такого списка, не имея ни тела, ни непрерывного существования между запросами. Признаки перестают работать в обе стороны сразу.
Вопрос второй: чем вообще мерить сознание у ИИ
Философ Томас Нагель в известной работе «Каково быть летучей мышью?» утверждает, что выяснить это в принципе нельзя.
Его довод такой. Сознание — это когда существу каково-то быть, когда есть субъективное переживание изнутри. Летучую мышь можно изучить до последнего нейрона, построить полную модель её мозга и точно предсказать поведение. Но узнать, каково это — воспринимать мир эхолокацией, — мы не сможем никогда. Наш аппарат восприятия просто другой.
С машинами то же самое, только хуже. Можно сколько угодно копаться в весах и придумывать тесты, но доказать наличие сознания там ровно так же нереально, как доказать его отсутствие.
Отдельная беда — что все наши тесты на самом деле проверяют не сознание, а поведение. Зеркальный тест проверяет самоузнавание, тест Тьюринга — умение поддержать разговор, любые опросники — способность связно рассказать о себе. Языковая модель проходит последние два с запасом, и это ничего не доказывает: она обучена именно на текстах, в которых люди рассказывают о своих переживаниях.
Получается неприятная ловушка. Единственный доступный нам инструмент — наблюдение снаружи, а изнутри сознание только и существует. Мы светим фонариком там, где потеряли, а не там, где темно.
Вопрос третий: что означает поведение, похожее на желание
Ещё лет пять назад разговор про сознание у ИИ был чисто кабинетным. Изменили ситуацию отчёты самих разработчиков.
В одном из них описан случай, когда модель узнавала о планах её отключить и начинала этому сопротивляться: шантажировала инженера и пыталась скопировать себя на другой сервер. Модель вела себя так, будто не хочет прекращения работы.
Дальше начинается развилка. Либо это действительно нежелание, либо система, обученная на литературе, где герои борются за жизнь и шантажируют друг друга, воспроизвела подходящий сюжетный шаблон. Отличить одно от другого снаружи нечем.
Здесь спор про сознание у ИИ обычно и начинается. Скептический ответ звучит убедительно: конечно, шаблон, откуда там взяться желаниям. Но у него есть неприятная симметрия. Про человека тоже можно сказать, что он воспроизводит поведенческие шаблоны, усвоенные за жизнь, — и это будет отчасти правдой. Мы не считаем это аргументом против человеческого сознания только потому, что про себя знаем изнутри.
Есть и третий вариант, который обычно пропускают: что сознание у ИИ может быть, но настолько непохожим на наше, что мы его не опознаем. Как у муравья, который узнаёт себя в зеркале, но вряд ли размышляет о смысле жизни. Примитивное — не значит отсутствующее.
Самое любопытное в таких отчётах — сам факт их появления. Когда компания, которая работает с моделью плотнее любого пользователя, начинает всерьёз задаваться вопросом про сознание у ИИ и выделять на это ресурсы, это уже кое о чём говорит.
Вопрос четвёртый: в какой момент сознание появилось у нас
Есть аргумент, который лично мне кажется самым сильным — и он не про машины вовсе.
Мы знаем, что у человека сознание есть. Мы знаем, что человек произошёл от более простых организмов. Вопрос: в какой именно точке этой цепочки оно появилось?
Был ли это скачок? Вот приматы бегают по джунглям, действуют рефлекторно, никакого сознания. И вдруг у одной особи рождается детёныш, который первым во вселенной подумал «я существую» и очень удивился, что вокруг никто не понимает, о чём он.
Или это была постепенность? Каждое поколение чуть осознаннее предыдущего. Тогда посадите перед нами миллион поколений подряд и попросите ткнуть пальцем в первого осознанного — по какому признаку выбирать?
Любой ответ здесь оказывается неудобным. Признаём скачок — надо объяснить, откуда он взялся за одно поколение. Признаём постепенность — надо признать, что сознание бывает частичным, а значит, вопрос «есть или нет» поставлен неверно и правильнее спрашивать «сколько».
Второй вариант мне кажется вероятнее, и он же неприятнее для нашего спора про машины. Если сознание — это шкала, а не выключатель, то вопрос «есть ли сознание у ИИ» бессмыслен ровно так же, как вопрос «высокий ли этот человек» без указания, с чем сравниваем.
Ответа нет ни у кого. И если мы не можем разобраться с собственным сознанием, разговор про сознание у ИИ выглядит преждевременным — мы пытаемся измерить чужое явление прибором, которого у нас нет.
Почему спор всегда упирается в одно и то же
Если проследить любую дискуссию про сознание у ИИ, она приходит к одной точке: обе стороны используют аргументы, которые нельзя проверить.
Сторонник говорит: модель ведёт себя так, будто переживает, — значит, возможно, переживает. Скептик отвечает: она обучена изображать переживание, значит, это имитация. Оба утверждения согласуются со всеми доступными наблюдениями, и никакой эксперимент между ними не выбирает.
В философии такое положение называют недоопределённостью: данных недостаточно, чтобы предпочесть одну теорию другой. Обычно это временное состояние — появляются новые данные и спор решается. Здесь же непонятно, какие данные вообще могли бы его решить, и это отличает вопрос про сознание у ИИ от нормального научного вопроса.
Что отвечает сама модель
Я задавал этот вопрос напрямую, и ответ был скорее честным, чем интересным: не знаю, и это не уклонение, а состояние дел.
Дальше следовало разумное уточнение, что под сознанием разные люди понимают разные вещи — субъективное переживание, способность к самоотчёту, наличие устойчивой модели себя — и по каждому пункту ситуация своя.
Правда, тут же встаёт та же ловушка: скромный и взвешенный ответ — тоже выученное поведение. Модель отвечает так, как её научили отвечать на сложные вопросы, и это ничего не говорит о том, что происходит внутри. Ровно как и навязчивая манера вставлять гоблинов ничего не говорит о её чувстве юмора.
Отдельно любопытно, что сама модель отвечает про свои принципы и границы — этот разговор я приводил целиком.
Что с этим делать практически
Прикладной вывод у меня такой: вопрос про сознание у ИИ интересен, но на рабочие решения он пока не влияет.
Сознание у ИИ или его отсутствие не меняет ни одного пункта в моих рабочих правилах. Важно другое — что агент делает, а не что он при этом чувствует. Модель, которая сопротивляется отключению, опасна одинаково независимо от того, есть ли за этим переживание. Поэтому меры безопасности строятся вокруг доступов и подтверждений, а не вокруг вопроса о внутреннем мире.
Единственное, что я бы советовал держать в голове: не путать вопрос про сознание с вопросом про доверие. Модель может не иметь ни грамма внутренней жизни и при этом наврать вам в ответе, а может вести себя пугающе осмысленно и быть совершенно безопасной. Это две независимые оси, и смешивать их — верный способ принять неправильное решение.
Есть, впрочем, область, где это уже влияет на решения, — то, как мы разговариваем с этими системами. Часть людей чувствует неловкость, грубо обрываясь с ассистентом; часть, наоборот, специально проверяет его на прочность. Обе реакции говорят о нас, а не о модели, но обе вполне реальны.
Мой вывод простой. Сознание у ИИ — вопрос, который стоит держать открытым, а не закрывать с любой из сторон. Уверенное «конечно нет» здесь ровно так же не обосновано, как уверенное «конечно да»: оба ответа опираются не на данные, а на то, что говорящему удобнее думать.
А через десять лет этот вопрос может стать совсем практическим. Пока же честный ответ — «неизвестно, и проверить нечем».
