Тед Чан «Why Computers Won’t Make Themselves Smarter»

(Из предисловия к моему переводу статьи Чана):

От прочтения заметки Теда Чана «ChatGPT Is a Blurry JPEG of the Web» я загорелся идеей написать статью с прицелом на академическую публикацию, где бы изобразил различные модификации аргумента «китайской комнаты» Джона Серла. Правда, написать ее, по разным причинам, выйдет не скоро, а тем более опубликовать. Тем не менее поиск источников успел дать побочные, но приятные следствия. Я обнаружил сразу два очерка Теда Чана в «The New Yorker», помимо эссе о ChatGPT, так или иначе связанных с вопросами ИИ: «Will A.I. Become the New McKinsey?» и «Why Computers Won’t Make Themselves Smarter». Ниже я предлагаю свою версию (с корректировками от сестры-филолога) перевода второй из этих заметок.

Эссе «Почему компьютеры не смогут сделать себя умнее» опубликовано 30 марта 2021 г. – примерно за полтора года до шумихи вокруг ChatGPT. Но рассуждение в нем косвенно связано и с умными чат-ботами, и со ставшим легендарным письмом с не менее легендарными подписантами против продолжения разработок нейросетей. Да, речь о нашей любимой Технологической Сингулярности – о том, насколько она возможна.

Надо сказать, что предыдущая отрецензированная мной статья Чана с точки зрения и иллюстративных примеров, и метафор, и изящности аргументации сильнее переведенной и рассматриваемой здесь. Тем не менее «Почему компьютеры не смогут сделать себя умнее» – очень неплохой пример критики идей, которые настолько глубоко через массовую культуру, СМИ и научпоп проникли в наше повседневное мышление, что потеряли свой первоначальный облик. Облик красивой, но спекулятивной борьбы технофильских и алармистских интеллектуальных традиций. В конце концов, где бы вы еще смогли увидеть сравнение онтологического доказательства существования божественного с гипотезой Технологической Сингулярности? Тед Чан вправду проделывает очень серьезный и стройный анализ (в духе аналитической философии) дискурсивных стратегий одного из творцов идеи сверхсильного и сверхчеловеческого ИИ.

Повторюсь, его мысленный эксперимент не столь хорош, как «сжатое изображение всемирной сети», но последний – маленький шедевр. Очень удачная находка. Ждать такой в каждой статье – слишком сильное требование к любому, даже самому талантливому автору. Во всяком случае мыслительные ходы Теда Чана во много, во много и еще раз во много сильнее, глубже и находчивее, притом в каждом отдельно взятом эссе, чем все решения, большие и малые работы Бострома вместе взятые. Заявляю это со всей ответственностью. Возможно, когда-нибудь я оброню пару письменных слов о том, почему решения и аргументы этого философа – странным образом часто цитируемая чепуха и пустота, но речь тут, конечно, не о том и не о нем.

Вернемся к содержанию заметки. Чан начинает с проведения логического сходства между онтологическими аргументами существования Бога и аргументами о высоковероятном наступлении Технологической Сингулярности. Схожее в обеих аргументациях и есть их слабое место – они доказываются как бы из самих себя при помощи силлогизмов с заранее необоснованными посылками. Идея о совершенном божестве предполагает наличие в действительности столь же совершенного существа, а идея (потенциально) всесильного и практически всеведущего ИИ подразумевает т. н. «рекурсивное самосовершенствование». Не прибегая к классическому кантианскому способу окончательно (или хотя бы с некоторой логической убедительностью) решить, насколько силен подобный ход рассуждений, Тед Чан идет своим путем. Частично этот путь смыкается со все тем же размышлением Серла о «китайской комнате», но лишь частично – аналогия не столь явная, как в случае с «размытым изображением всемирной сети». Смычка происходит на втором этапе аргументации писателя, где он предлагает примерить рекурсивное самосовершенствование на человеческом существе, показывая некоторую абсурдность самой идеи из сердца мечтаний сторонников наступления Техносингулярности. Далее следует скептическая ремарка о возможности конечного исследования человеческого мозга, т. е. достижения полного научного понимания всех причинных и специфических особенностей наших когнитивных способностей, включая решение «сложной проблемы сознания».

Затем следует третий этап аргументации Теда Чана. Это доказательный блок с подключением эмпирики из программистской практики. И здесь тоже есть семена критического сомнения Джона Серла. Во-первых, приводится мысленный эксперимент с двумя равными друг другу по интеллектуальным способностям существами – средним программистом и программой с ИИ того же умственного уровня. По условию машина имеет очень мощное железо, по скорости в сотню раз быстрее человеческих мозгов. И для выполнения весьма сложной, одной и той же, задачи воображаемому человеку-программисту понадобится сто лет, а умной и быстрой машине – всего-то год. Но как бы мы ни увеличивали время – хоть и до многих веков и тысячелетий – ни машина, ни рядовой, но бессмертный и не скучающий, программист не смогли бы кропотливым выполнением синтаксических операций совершить прорыв в области исследований и конструирования сверхразумного ИИ. Потом этот несколько абстрактный мысленный эксперимент переводится на более конкретный язык примеров из программирования, с кратким введением в то, что такое компиляторы, раскрутка компиляторов, оптимизирующие компиляторы, предметно-ориентированные языки, языки общего назначения и т. д. И здесь в более сильном и обоснованном виде повторяется результат предыдущего мысленного эксперимента: оптимизировать работу программ с ИИ специализированного назначение можно и нужно, но из этого логически необходимо и непротиворечиво не следует возможность оптимизации, притом бесконечной (т. е. того самого рекурсивного самосовершенствования), притом для конструирования программы с полем универсальной применимости.

И, наконец, в последней части текста Теда Чана дается самый сильный и интересный (контр)аргумент. Именно с такими круглыми скобками, ведь, с одной стороны, он демонстрирует, почему рекурсивное самосовершенствование невозможно (по крайней мере, в ближайшее время и в контексте, который толкуется последователи сингуляристской идеи), а, с другой стороны, автор показывает, где подобное применимо и наличествует в реальности:

«Но есть такой контекст, в котором, на мой взгляд, рекурсивное самосовершенствование представляется значимой концепцией, а именно когда мы рассматриваем способности человеческой цивилизации в целом. Обратите внимание, что это отличается от индивидуального разума. Нет никаких оснований полагать, что люди, родившиеся десять тысяч лет назад, были менее умны, чем родившиеся сегодня; у них была точно такая же способность к обучению, как и у нас. Но в настоящее время у нас за плечами десять тысяч лет технического прогресса, и эти технологии носят не только физический, но и когнитивный характер»

Потом, вводя понятие «когнитивных инструментов», уравновешивающих способности людей (сходно с неологизмом Владимира Фридмана «практики или техники Демосфена»: http://www.socialcompas.com/2014/06/17/pr...), а также на ряде иллюстраций, Чан доводит свою позицию до логичного предела, которая схожа с критикой, как бы мы сейчас сказали, «сильного ИИ», Ильенковым (которую я ранее считал недостаточной и слабой, но в той цепочке рассуждений, которую организовал Тед Чан, «аргумент от цивилизации» не выглядит таким уж недостаточным и слабым: http://caute.ru/ilyenkov/texts/machomo.html). И, как и в случае с предыдущей статьей писателя, заканчивается повествование важной «моралью», которая тем же Питером Уоттсом (хоть в самом интервью канадский писатель двояко относится к возможности Технологической Сингулярности, в ее иной терминологической форме – в блоке рассуждений о постчеловечества – Уоттс вполне верует в подобное: https://www.mirf.ru/book/peter-watts-inte...) и иными сторонниками того, что можно назвать «сильной верой в Технологическую Сингулярность» (такая вера заключается в том, что указанное событие решит все проблемы жалких человеков, от чего можно будет расслабить лапки и либо жить в свое удовольствие, ну или умереть от скуки и/или восстания машин), игнорируется и оттеняется:

«К лучшему или к худшему, но судьба нашего вида будет зависеть от принятия решений исключительно самим человеком»

Все это не отменяет того, что в разумных пределах несколько капель алармизма необходимы, но в который раз заставляет нас лучше присмотреться к тому, что мы считаем здравым смыслом эпохи, чем-то общепринятым и неопровержимым.