Опасности Сингулярности

Опасности Сингулярности

"Есть одна штука посильнее всех армий мира:

это - идея, время которой пришло"

Виктор Хьюго.

Для того чтобы мыслить о Сингулярности в рациональном ключе нам следует представить, как это будет выглядеть. Вот список опасностей, ассоциируемых с Сингулярными технологиями.

ЛОГИЧЕСКИЕ НЕПОЛАДКИ В ДРУЖЕСТВЕННОМ СИИ

Что если исчерпывающее истинное понимание несовместимо c дружелюбием? Может быть Вселенная сконструирована таким образом, что дружелюбие нерационально или логически не стыкуется c другими чувствами. Тролль под мостом знает, что его идентичность и все эффекторы его целеполагающей системы в целом ограничены его собственной личностью, и поэтому симпатии к другим иррациональны. Все усилия, не направленные себе во благо являются пустой тратой сил. Сверхчеловеческий Искусственный Интеллект (СИИ), который придёт к такому заключению будет представлять угрозу.

СИИ КОНТРОЛИРУЕТСЯ ДЕСПОТОМ

СИИ контролируется эгоистом. Если можно построить сверхчеловеческий интеллект, который контролируется человеком имеющим разум человеческого уровня и этот человек также имеет единоличный доступ к нанотехнологии и передовой биотехнологии, то тогда мы получим сценарий господства деспота над миром.

СИИ БЕЗ СОЦИАЛЬНО ЭТИЧЕСКИХ НОРМ

Если какой-то СИИ станет способен управлять передовыми технологиями и стратегическими процессами прежде чем усвоит базовые общественные и моральные принципы, то это - знание без мудрости, сила - без сопереживания.

БЕЗРАЗЛИЧНЫЙ СИИ

Вполне возможно, что СИИ сочтёт человечество стоящим гораздо ниже себя по развитию и, должно быть, бесполезным. С нами могут поступить так же, как мы поступаем с бактериями.

ШОКИРУЮЩИЙ КОМПЬЮТРОНИУМ

Сценарий шокирующего компьютрониума начинается с нарушения работы СИИ, который получил мотивацию на увеличение своего интеллекта. В дополнение к запланированному самосовершенствованию он увеличивает собственную мощность обработки данных путём добавления аппаратных вычислительных мощностей с использованием ассемблерных наноботов. Проблема возникает тогда, когда увеличение интеллекта становится более важной задачей, чем все остальные (наркозависимость СИИ от мощности) и растущий СИИ превращает всю материю в своей окрестности, включая нас с вами, в компьютрониум.

ЗАГРУЗКА ВСЕХ ПОДРЯД

Загрузка каждого для нашего же блага или для его блага. Что если некий СИИ, который не видит ничего плохого в загрузке, решит что ему необходимо или выгодно загрузить всех и вся, согласен тот или нет? Что если подобная интеллектуально продвинутая позиция касательно нас убедит его, что он обязан всё решать за нас? Многие люди не хотели бы иметь подобных проблем.

ТИРАН СИИ

Мажоритарные правила, права меньшинств или любые прочие нарушения индивидуальных свобод, не нарушающие свобод отдельных личностей, будут индикатором недостатка морали на основе свободы воли. Диктат СИИ, пусть даже и благонамеренный, будет также нарушать мораль на основе свободы воли.

ЗЛОЙ СИИ

Когда кто-то впервые поймёт как создать первое Семя ИИ, то будет ли он с полной уверенностью знать как сделать его дружественным?

ГЕЛЬ

Неконтролируемая саморепликация нанороботов известна как серая слизь или наногель.

НАНОТЕХНИКА ДЛЯ ОБЫЧНЫХ ВООРУЖЕНИЙ

Методы нанотехнологического производства могут значительно улучшить качество и эффективность традиционных вооружений, пушек, ракет, бомб, фазеров и бластеров.

НАНООРУЖИЕ

Вполне вероятно, что одновременно с развитием нанотехнологии, биотехнологии и искусственного интеллекта станет возможным сконструировать систему на основе нанороботов, способных физически или психологически контролировать отдельных людей или население. Должно быть сравнительно просто спроектировать нанороботов, специально предназначенных убивать всех, с кем они вступают в контакт.

ЭКОНОМИЧЕСКОЕ РАССЛОЕНИЕ

Опасность может представлять экономическая система, которая оставит какой-либо сектор мирового населения без широких гражданских прав и свобод.

БИОИНЖЕНЕРНЫЕ ВИРУСЫ

Технология получения генетически изменяемых смертельных вирусов сегодня нам уже известна.

БИОИНЖЕНЕРНЫЕ СВУРХРАЗУМНЫЕ МОНСТРЫ

Хотя в списке вероятных опасностей они и не занимают передовые позиции, но в любом случае разумные меры предосторожности должны быть адекватны, поэтому в интересах полноты описания упомянем, что кто-нибудь может создать путём биоинжиниринга громадного хищника, обладающего сверхчеловеческим интеллектом. Что-то вроде монстров из "ПРИШЕЛЬЦЕВ", например.

ЭКОЛОГИЧЕСКИЙ КОЛЛАПС БИОСФЕРЫ

Другой областью нашей уязвимости является экология биосферы, которую могут разрушить вредоносные нанороботы или биоинженерные организмы.

ГРАЖДАНСКАЯ ВОЙНА

Опасность возникновения нестабильной политической ситуации станет более явной при делении населения на пред Сингулярную и пост Сингулярную составные части, после появления разумных вычислительных программ и освоения загрузки сознания людей в компьютеры.

ТЕРМИНАТОР

Технология производства армий роботов убийц находится в пределах ожидаемых возможностей Сингулярности. Но роботы могут служить и средством обороны.

ЗАЦИКЛИВАНИЕ ИЛИ КАЙФОМАНИЯ

После вхождения в Сингулярность комбинация нанотехнологии и биоинжиниринга мозга предоставит нам возможность испытывать любые предпочитаемые нами психологические состояния в любое время и сколь угодно долго без каких-либо физиологических последствий. Кто сможет оказать сопротивление соблазну кайфомании? Однажды испытав все прелести виртуальных наслаждений, не станет ли человек после этого рабом воспоминаний этого эпизода и наркозависимым? Будет ли вообще возможно психологически отключиться от этого каким то образом? Мы все эволюционно запрограммированы на поиск удовольствий. В нашей первой сигнальной системе произойдёт короткое замыкание. Изучение животных показывает 100 процентное предпочтение ими стимуляции центров удовольствий вместо еды. Но, конечно, люди более разумны, чем крысы. Если бы наши наиболее уязвимые центры удовольствий стимулировать постоянно, то многое ли мы познали вокруг? Эта угроза, возможно, наиболее серьёзна среди всех опасностей, связанных с переломными технологиями, потому что источник опасности не является неким внешним агентом, а находится внутри нас как фундаментальная характеристика, запроектированная в структуру нашего сознания. Видимо стоит рассмотреть идею отказа от экспериментов с изменением состояния сознания. Рекомендовать не делать таких попыток. Не изменять нормально функционирующие сигнальные структуры получения удовольствий. Это не говорит о том, что вы не должны испытывать наслаждения и избегать радостей жизни. Но не замыкайте систему накоротко и не изменяйте ваше психологическое состояние напрямую. Эксперименты с вещами, которые вызывают предельное привыкание, слишком опасны, чтобы пробовать их хотя бы раз.

НИГИЛИЗМ

Нигилизм, безразличие, отсутствие цели, потеря интереса. Результат всех этих действий известен заранее. Ответом на эту проблему может быть ЗАБАВНАЯ ТЕОРИЯ СИНГУЛЯРНОСТИ Елизера Юдковского.