initial

1 files changed, 184 insertions, 0 deletions

diff --git a/content/posts/2025-10-18-the-ghost-in-the-machine.md b/content/posts/2025-10-18-the-ghost-in-the-machine.md
new file mode 100644
index 0000000..b8dff9f
--- /dev/null
+++ b/content/posts/2025-10-18-the-ghost-in-the-machine.md
@@ -0,0 +1,184 @@
+---
+cover: /posts/files/laughing-man.jpeg
+date: '2025-10-18'
+tags:
+- книги
+- размышления
+- не_моё
+- ИИ
+title: Душа в машине
+---
+
+Станислав Лем
+
+![Небольшая отсылка](/posts/files/laughing-man.jpeg)
+
+<!--more-->
+
+Понятием "душа в машине" - the ghost in the machine - некоторые психологи
+(английские) закрепляют убеждение в том, что человек якобы является существом
+"двойственным", т.е. состоящим из "материи" и "души".
+
+Сознание не является технологической проблемой, потому что конструктора не
+интересует, чувствует ли машина, а только интересует, действует ли она. Таким
+образом "технология сознания", как бы это сказать, может появиться только
+мимоходом, когда окажется, что определенный класс кибернетических машин обладает
+субъективным миром психических переживаний.
+
+Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не
+только абстрактно-философское значение, ибо предположение, что какая-то машина,
+которая отправляется на лом из-за того, что ремонт не оплачивается, имеет
+сознание, превращает наше решение уничтожить материальный предмет, типа
+граммофона, в акт уничтожения индивидуальности, осознанного убийства. Кто-то мог
+бы оснастить граммофон пластинкой и выключателем таким образом, что, если бы мы
+сдвинули его с места, то услышали бы крики: "Ах, умоляю, подари мне жизнь!". Как
+можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только
+вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в
+своей работе "Может ли машина мыслить?" предлагает в качестве решающего критерия
+"игру в имитацию", которая основывается на том, что мы задаем Кому-то
+произвольные вопросы и на основании ответов должны сделать заключение, является
+ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от
+человека, то следует признать, что машина ведет себя как человек, то есть что
+она обладает сознанием.
+
+Отметим со своей стороны, что игру можно усложнить. Можно предположить два вида
+машин. Первый вид является "обычной" цифровой машиной, которая устроена как
+человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире
+и вообще на все темы. Если бы мы ее вскрыли, то увидели бы огромное количество
+соединений элементов, подобно соединениям нейронов в мозгу, кроме того - блоки
+ее памяти и т.д. и т.п.
+
+Второй вид машины совсем другой. Это увеличенный до размера планеты (или
+космоса) граммофон. Она имеет очень много, например, сто триллионов, записанных
+ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина
+ничего "не понимает", а только форма вопроса, т.е. очередность вибраций нашего
+голоса, приводит в движение передатчик, который запускает пластинку или ленту с
+записанным ответом. Не будем задумываться о технической стороне вопроса.
+Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это
+невозможно и главное - неизвестно, зачем ее создавать. Но нас интересует
+теоретическая сторона. Потому что, если вывод о том, имеет ли машина сознание,
+делается на основе поведения, а не внутреннего строения, не придем ли мы
+неосмотрительно к выводу, что "космический граммофон" обладает им - и тем самым
+выскажем нонсенс? (А скорее неправду).
+
+Можно ли, однако, запрограммировать все возможные вопросы? Без сомнения, средний
+человек не отвечает в обычной жизни даже на один их биллион. Мы же на всякий
+случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру
+по достаточно развитой стратегии. Мы задаем машине (то есть Кому-то, потому что
+не знаем, с кем имеем дело; разговор ведется, например, по телефону) вопрос,
+любит ли она анекдоты. Машина отвечает, скажем, что да, она любит хорошие
+анекдоты. Рассказываем ей анекдот. Машина смеется (т.е смеется голос в трубке).
+Или у ней был этот анекдот записан и это позволило ей правильно отреагировать,
+т.е. засмеяться, или это в самом деле мыслящая машина (или человек, ибо мы этого
+не знаем). Мы разговариваем с машиной какое-то время, а потом неожиданно
+спрашиваем, припоминает ли она анекдот, который мы ей рассказали. Она должна его
+помнить, если она действительно мыслит. Она скажет, что помнит. Мы попросим,
+чтобы она повторила его своими словами. Вот это уже очень трудно
+запрограммировать, потому что таким образом мы вынуждаем конструктора
+"космограммофона" записать не только отдельные ответы на возможные вопросы, но и
+целые последовательности разговоров, которые могут вестись. Это требует,
+конечно, памяти, т.е. дисков или лент, которых, может, и вся солнечная система
+не вместит. Положим, машина не может повторить нашего анекдота. И мы тем самым
+разоблачаем, что она - граммофон. Задетый конструктор берется за
+усовершенствование машины таким образом, что пристраивает ей такую память,
+благодаря которой она сможет вкратце повторить сказанное. Но таким образом он
+сделал первый шаг в направлении от машины-граммофона к машине мыслящей. Так как
+бездушная машина не может признать идентичными вопросы аналогичного содержания,
+но сформулированные даже с незначительными формальными отклонениями, типа:
+"Вчера было хорошо на улице?", "Вчера была прекрасная погода?", "Погожим ли был
+предыдущий день?" и т. д. и т. п., то для машины бездушной они будут вопросами
+различными, а для машины мыслящей идентичными. Конструктор вновь разоблаченной
+машины вынужден опять ее перерабатывать. В конце концов, после долгой серии
+переделок, он введет в машину способности индукции и дедукции, способность
+ассоциации, схватывания тождественной "формы" по-разному сформулированных, но
+одинаковых по содержанию высказываний, пока в результате не получит машину,
+которая просто будет "обычной" мыслящей машиной.
+
+Так появляется интересная проблема: когда именно в машине появилось сознание?
+Предположим, что конструктор не переделывал эти машины, а относил каждую в музей
+и следующую модель создавал с начала. В музее стоит 10 000 машин, потому что
+столько было очередных моделей. Результатом стал плавный переход от "бездушного
+автомата" типа играющего шкафа к "машине, которая мыслит". Должны ли мы признать
+машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они
+отличаются друг от друга тем, что первая не умела объяснить, почему она смеется
+над рассказанным анекдотом, а только говорила, что анекдот очень смешен, а
+вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить,
+что именно в них смешно, потому что, как известно, теория юмора - это твердый
+орешек. Разве эти люди тоже лишены сознания? Нет же, они, наверное, просто не
+очень быстро реагируют или малообразованные, их ум не обладает навыками
+аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина
+или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
+
+Казалось бы, следует признать, что модель номер 1 имеет ноль сознания, модель
+номер 10 000 имеет полное сознание, а все средние имеют "все больше" сознания.
+Это утверждение показывает, насколько безнадежной является мысль о том, что
+сознание можно точно локализовать. Отсоединение отдельных элементов ("нейронов")
+машины спровоцирует только слабые, количественные изменения ("ослабления")
+сознания так же, как это делает в живом мозге прогрессирующий процесс болезни
+или нож хирурга. Проблема не имеет ничего общего ни с использованным для
+конструкции материалом, ни с размерами "мыслящего" устройства. Электрическую
+мыслящую машину можно построить из отдельных блоков, соответствующих, положим,
+мозговым извилинам. Теперь разделим эти блоки и разместим на всей Земле так, что
+один находится в Москве, второй в Париже, третий в Мельбурне, четвертый в
+Иокогаме и т. д. Отделенные друг от друга, эти блоки "психически мертвы", а
+соединенные (например, телефонными кабелями) они стали бы одной, интегральной
+"индивидуальностью", единым "мыслящим гомеостатом". Сознание такой машины
+находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, в
+каждом из этих городов и, в определенном смысле, ни в одном из них. Потому что о
+нем трудно сказать, что оно, как Висла, имеет протяженность от Татр до
+Балтийского моря. Впрочем, подобная проблема демонстрирует, хотя и не так ярко,
+человеческий мозг, потому что кровеносные сосуды, белковые молекулы и ткани
+находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что
+сознание находится под самым куполом черепа или, скорее всего, ниже, над ушами,
+по обеим сторонам головы. Оно "рассеяно" по всему гомеостату, по его
+функциональной сети. Ничего больше заявить на эту тему не получится, если мы
+хотим соединить сознание с возможностью рассуждать.
+
+Вышеприведенный текст, скопированный из моей "Суммы технологии", был написан в
+середине 1963 года. С точки зрения сегодняшней ситуации он представляет очень
+сильное упрощение дороги, которую мы должны пройти, чтобы дойти до имитации
+описанной мной цели. Мы уже предполагаем, что "сознание" и "интеллект" - это в
+определенном смысле отдельные сути бытия. Мы знаем, что существуют достаточно
+различные состояния сознания, даже если шкала их находится между сном и
+реальностью. Но и сон, точнее, мечта во сне, может характеризоваться
+разнообразной насыщенностью конкретностей, которые имитируют реальность,
+сознательно переживаемую наяву. В свою очередь, сознание наяву, что каждый знает
+по собственному опыту, даже если он не является ни психологом, ни психиатром,
+может также иметь очень различные состояния. Человек в состоянии болезненного
+жара может осознавать свое состояние, то есть то, что его сознание подверглось
+нарушению. Различные химические средства могут самым разным образом формировать
+человеческое сознание. Кроме того, следует отметить, что есть множество
+действий, которые человек может делать машинально, то есть четко и неосознанно.
+Сознание водителя автомобиля, особенно быстрого, "не успевает" за реакциями
+этого водителя в ситуациях с неожиданной последовательностью событий. Вместе с
+тем машинально можно делать глупости, мы называем их чаще всего "действиями по
+рассеянности".
+
+Все это я сказал в отношении моего текста тридцатипятилетней давности, в котором
+я задумался над "ростками" сознания в машине, и делал я это потому, что мне
+казалось, что люди очень отличаются друг от друга уровнем умственных
+способностей, а сознание всем дано приблизительно похожее.
+
+Дороги напрямик, по прямой и восходящей линии, от полного автомата, каким
+является компьютер, к машине, которой мы могли бы приписать сознание, нет.
+Вместе с тем работу нашего мозга мы уже знаем настолько, чтобы узнать то, что
+так называемая каллотомия, или рассечение большой белой спайки, соединяющей
+полушария мозга, не ликвидирует сознания, но создает в разделенных полушариях
+две его разновидности. Кроме того, мы знаем, что мозг является системой,
+построенной из огромного количества функциональных модулей, которые в отдельных
+окрестностях мозга создали среду, формирующую сознание. Уточню сказанное
+примером. Существует часть коры мозга, способствующая тому, что мы видим цвета.
+Повреждение этого модуля приводит к тому, что таким образом пораженный человек
+видит все без цвета, как в черно-белом кино. Чем точнее мы узнаем специфику
+функциональной ориентации модулей мозга, тем с большим удивлением узнаем, как, с
+точки зрения инженерной экономии, хаотично устроен мозг, хотя мы при осознании
+самих себя не отдаем себе в этом отчета. Сегодня нам кажется, что отдельные
+модули, функционально похожие на модули мозга, мы уже сможем конструировать.
+Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не
+умеем ни создать их в достаточном количестве, ни соединить их таким образом,
+чтобы созданное произведение смогло имитировать сознание. Следовательно, прямой
+дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако,
+много сложных дорог, которые в будущем приведут нас к цели и, может быть, эту
+цель превзойдут. О такой возможности я написал книгу "Голем XIV".
+
+Краков, 7 июля 1998 года.