Элиезер Юдковский «Искусственный интеллект как фактор глобального риска»

По факту имеем футурологическое эссе. Законное поле деятельности для писателя-фантаста. Но не про все будущее вообще, а про одну конкретную его проблему. А именно, сосуществование с искусственным интеллектом (ИИ). Автор не исключает, что создание ИИ будет не просто причудой или технической новинкой, а единственным шансом на выживание. Так что изобретение ИИ определенно состоится. Но есть существенная деталь: люди слабо представляют себе, что такое интеллект и что такое ИИ, и какие опасности он может представлять в своей недружественной форме. Автор предлагает взглянуть на проблему широко. Даже — очень широко.

По структуре эссе смахивает на научную статью: в конце приведены ссылки аж на 36 внешних источников. Но научной статьей данная работа не является. Функциональный стиль здесь однозначно художественный, что видно на приводимых автором примерах и общем стиле изложения. Быть может кому-то покажется похожим на то, что писал Стерлинг. А может и нет.

Что касается основных идей, обозначенных в тексте...

1. В рамках предложенной автором модели интеллект не есть что-то такое, что полностью охвачено всеми представителями человеческого вида начиная от самого глупого и заканчивая самым гениальным. Ниже самого глупого отрезок можно продлить до амебы, а выше самого гениального продлевать, наверное, придется в бесконечность. А еще можно выйти за пределы одного измерения и предположить существование иного интеллекта, имеющего в своей основе иную природу, отличающуюся от белковых форм жизни. В этом случае интеллект человечества окажется просто точкой в многомерном пространстве. Но в любой точке этого пространства может возникнуть ИИ. Так что совершенно напрасно люди думают, что знают об ИИ больше чем есть на самом деле. Люди склонны мыслить ИИ подобным себе (антропоморфизировать его). И это большая ошибка.

2. Для создания ИИ не нужен суперинтеллект. Новая технология вообще может появится внезапно. Технические революции вообще не имеют привычку предупреждать о своем наступлении.

3. «Естественный отбор не является дружественным, не ненавидит вас». Аналогично, процесс, который завершиться созданием ИИ, не будет иметь цели породить на свет ни дружественный, ни враждебный ИИ. Но было бы неплохо иметь технологию создания ИИ со специфической мотивацией.

4. «С точки зрения глобальных рисков, одно из наиболее критических обстоятельств в связи с ИИ, это то, что ИИ может усилить свой интеллект чрезвычайно быстро». В отличии от человека ИИ имеет возможность это сделать. Автор приводит в качестве аналогии ядерный реактор при переходе его из нормального режима в закритический, когда начинает действовать положительная обратная связь. После такого перехода уже поздно что-то делать.

5. Контроль над оборудованием — не вариант. «Исходные материалы для ИИ уже есть везде. Эта кошка так далеко выскочила из мешка, что она уже в ваших наручных часах, сотовом телефоне и посудомоечной машине».

6. «Люди не созданы для того, чтобы их улучшали». Качественный прорыв в области интеллекта вероятнее всего будет только в области ИИ, т.к. «человеческий мозг немодифицируем конечным пользователем» из-за особенностей дизайна и развития. Задача человечества, сделать так, чтобы этим прорывом человека не снесло как вид.

7. «Закон Мура для Безумной Науки: каждые 18 месяцев минимальный IQ, необходимый, чтобы уничтожить мир, падает на один пункт.» В таких условиях неплохо бы иметь дружественный ИИ, который подстрахует человечество. Следовательно, изобретение дружественного ИИ должно предшествовать работе с опасными технологиями.

8. «Если вы вбросите слишком много денег в проблему, область которой ещё не готова к решению, излишние деньги создадут скорее анти-науку, чем науку – беспорядочную кучу фальшивых решений». Проблема создания дружественного ИИ не может быть рассмотрена до ликвидации хаоса в сфере ИИ.

9. «Природа не жестока, но равнодушна; эта нейтральность часто выглядит неотличимой от настоящей враждебности». Но несмотря на все потенциальные угрозы автор заканчивает эссе на оптимистической ноте выражая надежду, что интеллект должен перестать быть любым видом мистики, сакральным или нет.

Рекомендую к прочтению. А потом — к прочтению еще раз.