Your AI powered learning assistant

Вступление Тезис об ортогональности утверждает, что могут существовать сколь угодно разумные агенты, преследующие любые цели. Сильная форма тезиса об ортогональности гласит, что нет никаких дополнительных трудностей или усложнений в создании интеллектуального агента для достижения цели, помимо вычислительной податливости этой цели.

Целенаправленные агенты столь же послушны, сколь и их цели. Предположим, какой-нибудь странный инопланетянин прилетел на Землю и убедительно предложил выплачивать нам новое богатство на миллион долларов каждый раз, когда мы создадим скрепку. Мы не столкнулись бы с особыми интеллектуальными трудностями, если бы выяснили, как сделать много скрепок. Точно так же, даже если бы инопланетяне предложили нам огромные суммы за изготовление большего количества скрепок, чем раньше, это не создало бы особой когнитивной нагрузки на наш разум.

Краткое изложение аргументов Некоторые аргументы в пользу ортогональности включают размер пространства для проектирования; инструментальную конвергенцию, при которой достаточно интеллектуальные максимизаторы не оказываются в невыгодном положении по сравнению с другими целями; рефлексивную стабильность, при которой самоизменение оценивается на основе ожидаемых будущих результатов, а не повышения благосостояния; различие Юма между утверждениями "есть" и "должно", которое подчеркивает разница между выводом суждений о долженствовании из другого суждения о долженствовании по сравнению с выводом фактической информации, например, солнечно на улице или нет, путем наблюдения за окном

Разделение "Есть-должно" и ортогональность Идея Юма о разделении "есть-должно" предполагает, что мы можем выделить набор предложений, которые не вызывают

Подробные определения рациональности или интеллекта Для прагматических целей теории выравнивания искусственного интеллекта, если агент обладает достаточной когнитивной мощью, чтобы создавать сферы Дайсона, не имеет значения, определяется ли этот агент как "умный" или его цели определяются как "разумные".

Конструктивные характеристики ортогональных агентов Простейшие неограниченные формулы для ортогональных агентов не включают отражательную способность. Поскольку работа над проектами плиточных агентов еще не остановлена, возможно, потребуется отказаться от утверждения о невозможности и доработать его еще больше по мере изобретения более эффективных алгоритмов принятия решений.