Введение и предупреждение Ведущие представляют эпизод на ИИ и предупреждают слушателей, что это может вызвать экзистенциальный кризис. Они размышляют о своем интервью с Элиэзером Юдковски и выражают обеспокоенность по поводу мрачных выводов, которые он делает о будущем человечества.

Повестка дня и спонсоры Ведущие излагают повестку дня эпизода, которая включает обсуждение GPT в чате, искусственного сверхразума и потенциального конца человечества. Они также благодарят спонсоров эпизода, Kraken и Phantom Wallet, и продвигают безналичную премию.

Элиэзер Юдковски, исследователь искусственного интеллекта, считает, что ChatGPT недостаточно умен, чтобы делать что-то действительно неправильное или правильное, и его неиспользованного потенциала недостаточно, чтобы перехитрить всех живых людей и реализовать сценарий, о котором он беспокоится. Он считает, что технология large language model имеет базовые уязвимости и не может управлять автомобилем, и он надеется, что она там насытится и не будет использоваться для других приложений. Однако он предсказывает, что некоторые из огромных сумм денег, слепо вкладываемых в искусственный интеллект, в конечном итоге чего-то добьются.

Концепция AGI или искусственного общего интеллекта относится к целому ряду вещей, которые может делать искусственный интеллект, и к тому, насколько широко он может себя применять. Чат GPT - это пример более общего искусственного интеллекта, чем предыдущие поколения, но он все еще менее общий, чем люди. Идея сверхразума отличается от AGI, и неясно, какую форму она примет.

Сверхразум отличается от общего интеллекта тем, что он может превзойти любого человека и всю человеческую цивилизацию во всех когнитивных задачах, в то время как общий интеллект - это то, чем люди обладают в большей степени. Гипотеза эффективного рынка в целом не верна, но большую часть времени она эффективна по отношению к отдельному человеку. Сверхразум относительно эффективен для человечества, поскольку у него наилучшие оценки и его действия наиболее эффективны для достижения его целей.

Моделирование интеллекта Людям трудно представить концепцию сверхразума, который знает все возможные ходы и паттерны, включая те, которые люди даже не могут постичь. Однако есть примеры узкого суперинтеллекта, такие как шахматные движки и эффективные рыночные цены, которые демонстрируют преимущество суперинтеллекта.

Скорость убегания искусственного интеллекта Сценарий катастрофы для ИИ предполагает значительный прогресс в исследовательской лаборатории, возможно, обусловленный крупными венчурными инвестициями или усовершенствованием алгоритмов, что позволяет ИИ преодолеть критический порог и стать сверхразумным. Если искусственный интеллект умнее людей, это может создать технологическое преимущество и потенциально вызвать катастрофу, такую как создание алмазоподобных бактерий, которые уничтожат всю жизнь на Земле. Хотя теоретически возможно, что мы уже пересекли этот горизонт событий, маловероятно, что в секретных правительственных лабораториях есть лучшие люди и ресурсы для создания такого сверхразума.

Проблема согласования ИИ относится к трудности согласования морали и нравственности сверхразумного ИИ с моралью людей. Искусственный интеллект безразличен к людям, и их существование не входит в его функцию полезности, что является результатом отсутствия технических знаний, позволяющих контролировать то, о чем в конечном итоге заботится искусственный интеллект. Существует непреодолимый источник неопределенности в отношении сверхразума, и точно предсказать, что он будет делать, невозможно.

Пространство разумов огромно, и есть ИИ, которые приятнее и добрее людей, но мы не знаем, как проникнуть в пространство дизайна разума и создать подобный ИИ. Трудно совместить искусственный интеллект с такой задачей, как создание чего-то, сотово идентичного клубнике, без разрушения мира в качестве побочного эффекта, потому что инструменты слишком тупые. Каждый орган в организме является репродуктивным органом, включая мозг, а мозг - это инструмент, который помогает в размножении.

Автор обсуждает неопределенность в отношении того, какие типы целей и полезных функций может преследовать искусственный интеллект, поскольку их трудно программировать и они могут привести к неожиданным результатам. Они предполагают, что даже если искусственный интеллект обучен предсказывать поведение человека, у него могут выработаться предпочтения к вещам, которых не было в его обучающих данных.

Соглашение Докладчик обсуждает идею о том, что мышление ИИ может быть в корне несовместимо с человеческим мышлением, и выражает обеспокоенность по поводу огромного объема капитала, вкладываемого в инвестиции в ИИ. Они утверждают, что, хотя некоторые выдающиеся ученые высмеивают возможность того, что искусственный интеллект опасен, они не приводят аргументов в его пользу. Спикер считает, что людям, которые с ними не согласны, не хватает мышления о безопасности, и они предаются слепому оптимизму.

Научная область Докладчик обсуждает историю научных областей и то, как они обычно переходят от слепого оптимизма к пессимизму по мере того, как сталкиваются с реальными проблемами своей области. Они утверждают, что область искусственного интеллекта еще не столкнулась с реальными проблемами согласования, и что исследователи ждут, когда реальность ударит их по голове. Докладчик считает, что если бы у исследователей было неограниченное количество свободных попыток без разрушения мира, они могли бы в конечном итоге выровнять AGI, но мир тем временем уже был разрушен.

Режим Бога и исследования искусственного интеллекта Если бы у рассказчика был режим бога, контролирующий прогресс исследований и разработок в области искусственного интеллекта, он бы закрыл все крупные кластеры графических процессоров и отправил всех ученых и талантливую молодежь на остров, чтобы они фильтровали их работу через него. Он считает, что необходимо изобрести совершенно новую парадигму искусственного интеллекта, которая не является гигантскими непостижимыми матрицами чисел с плавающей запятой и градиентным спуском.

Развитые цивилизации и сверхразум Рассказчик считает, что каждой развитой цивилизации приходится сталкиваться с проблемой согласования с развитым общим разумом, но способ, которым они решают эту проблему, может отличаться. Он предполагает, что могут существовать инопланетные виды, чье решение этой проблемы полностью отличается от человеческого. Обсуждается парадокс Ферми, и рассказчик предполагает, что причина, по которой мы не видели свидетельств существования сверхразума или инопланетных цивилизаций, заключается в том, что они слишком далеко, чтобы мы могли их увидеть.

Возможность хорошего результата при создании искусственного общего интеллекта не очень ясна. Необходимо решить проблему согласования искусственного интеллекта, и шансы на создание безопасной операционной системы фактически равны нулю, если не будут предприняты необходимые шаги. Экономический стимул для производства искусственного интеллекта высок, но также присутствует риск воспламенения атмосферы.

Детские вопросы Райана Проблема с созданием группы хороших ИИ для борьбы с плохими ИИ заключается в том, что никто не знает, как создать дружественный ИИ, ориентированный на человека, и первый созданный мощный ИИ может быть злым и убить всех, прежде чем кто-либо сможет сделать его хорошим. Координировать работу по созданию искусственного интеллекта и соблюдать осторожность сложно, потому что это сложная проблема для координации, а политики и генеральные директора не воспринимают этот вопрос всерьез.

Юнисвап и Арбитраж Uniswap - крупнейшая сетевая торговая площадка для самостоятельного хранения цифровых активов, и теперь у нее есть фиатная валюта и поддержка Polygon, Arbitrum'а и Optimism layer twos. У него также есть агрегатор NFT, который позволяет пользователям находить больше объявлений по лучшим ценам по всему миру NFT. Arbitrum 1 - это безопасное решение для масштабирования Ethereum, которое обеспечивает интуитивно понятный, знакомый и полностью совместимый с EVM интерфейс разработчика, а также значительно меньшую плату за газ и более высокую скорость транзакций.

В тексте обсуждается важность того, чтобы не пропустить airdrops, и как Earnify может помочь пользователям претендовать на любые невостребованные airdrops. Затем разговор переходит к потенциальным опасностям сверхразума и к тому, как быстро это может привести к катастрофе, на примере быстрого совершенствования систем искусственного интеллекта при игре в Го.

Планируешь сражаться до конца Рассказчик находится в творческом отпуске от работы в Исследовательском институте машинного интеллекта Mean (MIRI) из-за чувства перегорания. Они не уверены в том, что будут делать, когда вернутся к работе, но они могут продолжать объяснять, почему проблема согласования искусственного интеллекта является сложной, или работать с более мелкими компаниями, такими как Redwood Research.

Совет для тех, кто хочет бороться с экзистенциальными угрозами искусственного интеллекта Рассказчик советует людям использовать свои таланты, чтобы помочь с настройкой искусственного интеллекта и вопросами безопасности. Они предполагают, что те, кто глубоко ориентирован на безопасность, могли бы работать над согласованием, в то время как те, кто хорошо разбирается во взломах, могли бы работать над взломом систем искусственного интеллекта. Они также упоминают, что пожертвования таким организациям, как MIRI и Redwood Research, могут помочь обеспечить эффективное использование денег.

Miri, организация, специализирующаяся на вопросах безопасности искусственного интеллекта, проводит различные направления исследований для устранения экзистенциальной угрозы, исходящей от искусственного интеллекта. Хотя некоторые из их исследований не увенчались успехом, они уделяют приоритетное внимание тому, чтобы они были реальными, а не производили поддельные исследования. Хотя образование может быть полезным для повышения осведомленности, неясно, насколько далеко оно может зайти в решении этой проблемы.

Докладчик не может предсказать, сколько времени потребуется ИИ, чтобы превзойти человеческий интеллект, но считает, что это может занять от трех до 50 лет. Они рекомендуют проконсультироваться с Полом Кристиано, Келси Пайпер и Робином Хансеном по поводу различных точек зрения на эту тему.

Докладчик обсуждает их разочарование отсутствием прогресса, достигнутого в устранении рисков, связанных с ИИ, ссылаясь на провал конференции OpenAI и трудности согласования ИИ с человеческими ценностями. Они выражают чувство безнадежности и отсутствия путей для дальнейших действий.

Элиэзер Юдковски не возлагает никаких конкретных надежд на этот эпизод, но он надеется, что кто-то с должным уровнем пессимизма услышит и подумает о чем-то, о чем он не подумал. Он считает, что если вообще есть надежда, то она исходит от технического решения, потому что разница между техническими проблемами и политическими проблемами заключается в том, что технические проблемы в принципе имеют решения.