Новый луддитский вызов

Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, =>

либо человеческий контроль над машинами может быть сохранен. Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитыва""" ем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты - прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людеи сведут до уровня домашних животных .

¹⁸³ Курцвейль цитирует отрывок из «Манифеста Унабомбера» Каминского, который был одновременно опубликован, причем под давлением, в New York Times и Washington Post, чтобы попытаться положить конец террору.

Я согласен с Дэвидом Джелернтером, так высказавшимся об этом решении: «Газеты столкнулись с трудным требованием. Сказать „да" значило пойти на поводу у терроризма, несмотря на то, что они знали — он в любом случае лжет. С другой стороны, ответ „да" мог остановить убийцу. Кроме того, существовала возможность, что кто-нибудь, прочитав газету, поймет, кто мог зто написать. Именно так и случилось. Брат подозреваемого прочел публикацию, и это стало звонком. Я бы посоветовал им не публиковать. Хорошо, что они меня не спросили. Так мне кажется» (Gelemter, p. 120). В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор - Теодор Качинский (Унабомбер). |

Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера. Действия Качинского отличались крайней жестокостью и, на ^< мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.

В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи - «если что-то может пойти не так, то это обязательно случится». {На самом деле это закон Фи-нейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того - малярийные паразиты приобрели гены, посредством которых наследуется устоичивость ко многим химическим веществам .

Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.

⁸⁴ Garrett, p. 47-52,414,419,452.

Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:

Поиск по сайту: