Развитие AGI является критическим моментом в человеческой цивилизации, обладающим потенциалом расширения прав и возможностей людей и создания общественных преобразований. Однако это также создает опасности, которые могут намеренно или непреднамеренно уничтожить человечество. Поэтому разговоры о властных структурах и системах, которые внедряют эту технологию, важны для обеспечения ее безопасности и соответствия общечеловеческим ценностям.

GPT-4: Поворотный момент в области искусственного интеллекта GPT-4 - это система, которая будет считаться ранней формой искусственного интеллекта, несмотря на ее медленную и глючную производительность. Добавление обучения с подкреплением и обратной связью с человеком сделало модель гораздо более удобной для использования и согласованной с тем, чего от нее хотят люди.

Наука, лежащая в основе разработки GPT-4 Создание GPT-4 включает в себя множество различных компонентов, включая архитектуру нейронной сети, отбор данных и наблюдение человека с помощью RLHF. Хотя еще многое предстоит узнать о том, как именно работает эта модель, среди исследователей OpenAI появляется более глубокое понимание ее возможностей для рассуждений и приобретения мудрости на основе использования огромного объема знаний в Интернете.

Политическая предвзятость Докладчик обсуждает, как модели искусственного интеллекта справляются с задачами, которые кажутся людям простыми, такими как подсчет символов или слов. Они также упоминают о важности публичного использования технологии и получения обратной связи от пользователей для ее улучшения с течением времени. Предвзятость Chat GPT при его запуске не была чем-то, чем они гордились, но они считают, что предоставление пользователям более персонализированного контроля может помочь смягчить эту проблему.

Важность AGI Спикер размышляет о своей детской мечте работать в AGI и выражает сочувствие тем, кто спорит о мелких проблемах, связанных с развитием технологии. Признавая важность этих дебатов, они задаются вопросом, не отвлекает ли сосредоточение внимания исключительно на них от более важных вопросов о том, что AGI будет означать для нашего будущего.

Безопасность искусственного интеллекта OpenAI провела внутренние и внешние тесты безопасности GPT-4 перед его выпуском, работая над приведением модели в соответствие с человеческими ценностями. Хотя они еще не нашли способ полностью согласовать сверхмощные системы, степень их согласованности росла быстрее, чем темпы развития их возможностей.

Достижения в GPT-4 Системное сообщение GPT-4 позволяет пользователям управлять моделью, запрашивая ее ответ определенными способами или стилями. Итеративный процесс также обеспечивает постоянный диалог между пользователем и компьютером в качестве инструмента творческого партнера в программировании. OpenAI выпустила обширный документ под названием "Системная карта", в котором обсуждаются философские и технические соображения, касающиеся безопасности искусственного интеллекта во время разработки GPT-4.

Безопасность искусственного интеллекта Задача приведения искусственного интеллекта в соответствие с человеческими предпочтениями и ценностями - это сложный вопрос, требующий преодоления противоречий между различными точками зрения. Цель состоит в том, чтобы создать технологию, которая сможет сбалансировать предоставление людям той системы, которую они хотят, и в то же время проводить границы приемлемого.

Инструмент для модерации OpenAI для GPT В OpenAI существуют системы для модерации результатов GPT, включая обучение тому, когда следует отклонить определенные вопросы или не отвечать на них. Однако существуют проблемы с формулировками и обращением с пользователями как со взрослыми, а не с тем, чтобы ругать их как детей. Технический прогресс по сравнению с предыдущими версиями GPT включает в себя сотни небольших выигрышей, умноженных вместе для значительных улучшений в организации данных, оптимизации обучения, размере нейронной сети и проектировании архитектуры.

Размер нейронной сети не обязательно определяет ее производительность, и люди должны сосредоточиться на достижении наилучших результатов, а не просто на увеличении количества параметров. OpenAI сосредоточен на поиске решений, которые хорошо работают для обобщенного интеллекта, даже если они не являются элегантными. Сложность, связанная с получением одного набора чисел с помощью GPT-3, впечатляет и станет тривиальной через несколько десятилетий по мере дальнейшего развития технологий.

АГИ Возможность того, что большие языковые модели способны обеспечить общий интеллект, является предметом дискуссий. Хотя это может быть частью пути, другие компоненты, такие как наличие тела, способного непосредственно воспринимать мир, также важны.

Безопасность и согласованность искусственного интеллекта Существует озабоченность по поводу поддержания согласованности ИИ по мере того, как он становится сверхразумным, и некоторые предсказывают, что ИИ, скорее всего, убьет всех людей. Важно признать этот потенциальный риск и найти новые методы для его устранения, повторяя наш путь обучения на ранних стадиях и ограничивая одноразовые сценарии. Теория играет важную роль в работе по выравниванию, но продолжение изучения того, как развивается технологическая траектория, не менее важно для расширения работ по техническому выравниванию, которое теперь возможно благодаря новым инструментам, доступным сегодня.

АГИ Докладчик обсуждает развитие GPT4 и его потенциал в качестве искусственного общего интеллекта (AGI), но отмечает, что трудно определить, действительно ли модель обладает сознанием или способна к сверхразуму. Они выражают обеспокоенность по поводу возможности быстрого взлета в развитии AGI, призывая к осторожности и приоритизации мер безопасности.

Страх Докладчик упоминает опасения по поводу проблемы контроля при разработке искусственного интеллекта, в частности в отношении соответствия человеческим ценностям. Они обсуждают различные подходы к решению этой проблемы и подчеркивают важность оптимизации для максимального воздействия на создание безопасного мира с медленными сроками взлета. Также исследуется концепция сознания в ИИ, включая тесты для определения того, можно ли считать модель сознательной или нет.

Докладчик выражает обеспокоенность по поводу потенциальных опасностей AGI и считает, что проблемы с дезинформацией или экономические потрясения могут возникнуть на уровне, превышающем нашу нынешнюю готовность. Они также обсуждают трудности в обнаружении этих проблем, поскольку скоро появится множество полнофункциональных LLM с открытым исходным кодом и небольшим количеством средств контроля безопасности. Подчеркивается необходимость нормативных подходов и использования более мощных ИИ для выявления таких проблем.

Соревнование OpenAI верит в то, что они должны придерживаться своей миссии и отдавать приоритет безопасности, а не рыночному давлению со стороны других компаний. Они стремятся внести свой вклад в создание AGI, а не вытеснять всех остальных, и приветствуют несколько AGI с разной направленностью. Необычная структура OpenAI помогает им противостоять стимулам по захвату продукта, и над ними издевались за то, что они говорили об AGI в прошлом, но не сейчас.

От некоммерческой к ограниченной прибыли Докладчик рассказывает о структуре OpenAI, которая изначально была некоммерческой организацией, но позже по финансовым причинам стала компанией с ограниченной прибылью, сохраняя при этом свое внимание к исследованиям в области искусственного интеллекта, приносящим пользу человечеству в целом.

OpenAI начинала как некоммерческая организация, но поняла, что им нужно больше капитала, чем они могут привлечь, поэтому они создали дочернюю компанию с ограниченной прибылью для инвесторов и сотрудников, чтобы получать фиксированную прибыль, в то время как все остальное возвращается в некоммерческую организацию. Процесс принятия решения включал в себя взвешивание "за" и "против" того, чтобы стать коммерческой компанией, не теряя контроля над своими решениями. Они беспокоятся о том, что компании без ограничений играют с AGI, потому что у него потенциал, превышающий 100-кратную отдачу, но верят, что лучшие ангелы выиграют, сведя к минимуму пугающие недостатки за счет сотрудничества.

OpenAI стремится к демократическому распределению полномочий и принятию решений в отношении технологии искусственного интеллекта с течением времени, а не к контролю со стороны одного человека или компании. Организация ценит прозрачность и открытое общение как способ вовлечения всего мира в адаптацию, осмысление, регулирование и установление норм для этой мощной технологии. OpenAI осознает свою ответственность, но также сталкивается с проблемами, связанными с нагнетающей страх журналистикой, которая может помешать им оставаться сосредоточенными на своей миссии. Обратная связь от умных людей помогает им понять, как они могут добиться большего успеха в предстоящих неизведанных водах.

илон маск Спикер обсуждает их восхищение вкладом Илона Маска в развитие мира, несмотря на его поведение в Twitter. Они также упоминают состоявшийся у них с ним спор о потенциальных опасностях AGI и соглашаются, что безопасность имеет решающее значение.

Предвзятость в области искусственного интеллекта Спикер рассказывает о предвзятости в моделях искусственного интеллекта и о том, как на нее могут повлиять методы обратной связи с человеком. Они выражают озабоченность по поводу отбора репрезентативных выборок для рейтинговых заданий и оптимизации эмпатии по отношению к разным группам людей, которые могут по-разному отвечать на вопросы. Технология потенциально может быть менее предвзятой, чем люди, но есть опасения по поводу политического давления, влияющего на ее развитие.

Политическое давление Генеральный директор OpenAI обсуждает различные виды давления, включая политическое и финансовое, с которыми сталкиваются организации. Он также рассказывает о своей способности справляться с таким давлением.

Генеральный директор Universal Basic Income (UBI) считает, что UBI - это компонент, который следует использовать как часть решения для смягчения последствий резких изменений, вызванных искусственным интеллектом. Однако он признает, что это не полное решение, и люди работают не только из-за денег.

Человеческая цивилизация Судя по тому, что генеральный директор увидел в Twitter относительно использования GPT, люди в основном хороши, но у них есть темные наклонности, которые они любят исследовать, чтобы заново открыть для себя свет. Затем обсуждение переходит к тому, как можно определить правду и дезинформацию в отношении моделей искусственного интеллекта.

Правда и дезинформация Понятие истины трудно определить, поскольку в разных областях, таких как математика или история, существует разная степень достоверности. Модель GPT может давать подробные ответы с неопределенностью, но ответственность за минимизацию вреда, причиняемого инструментом, лежит на OpenAI.

Доставка продуктов на основе искусственного интеллекта Успех OpenAI в поставке продуктов на основе искусственного интеллекта обусловлен высокой планкой для членов команды, доверием и автономией отдельных сотрудников, страстью к достижению целей в командах и большими усилиями, приложенными для найма отличных людей. Microsoft за несколько лет инвестировала в OpenAI 10 миллиардов долларов.

OpenAI успешно сотрудничает с Microsoft, которая проявляет гибкость и поддержку в их сотрудничестве. Несмотря на то, что они были крупной коммерческой компанией, они понимали необходимость контроля для защиты разработки искусственного интеллекта от капиталистического давления. Стиль руководства Сатьи Наделлы является одновременно дальновидным и эффективным в управлении изменениями внутри организации.

Крах Silicon Valley Bank (SVB) произошел из-за неправильного управления покупкой долгосрочных инструментов, обеспеченных краткосрочными и переменными депозитами. Ответ федерального правительства занял больше времени, чем следовало бы, но полная гарантия вкладов могла бы избавить вкладчиков от сомнений в безопасности их банка. Это событие показывает, как быстро и сильно меняется наш мир, что является небольшим предварительным просмотром изменений, которые AGI принесет с экономической нестабильностью.

Докладчики обсуждают свои различные подходы к антропоморфизации искусственного интеллекта: один предостерегает от проецирования творческого начала на инструмент, а другой выражает заинтересованность в создании интеллектуальных компаньонов. Они также затрагивают важность учета стиля общения при разработке приложений AGI.

Рассказчик взволнован возможностью AGI разгадать все оставшиеся тайны, включая путешествия со скоростью, превышающей скорость света, и обнаружение разумных инопланетных цивилизаций. Они также обсуждают, как технологические достижения выявили социальные различия в человеческой цивилизации, но выражают радость по поводу способности человечества создавать такие вещи, как Википедия и поиск в Google. Не добавляется никакой новой информации о будущих заявках или советах для молодежи.

Советы молодым людям Илон Маск считает, что, хотя его советы о том, как добиться успеха, могут сработать для некоторых, для других они могут сработать не так хорошо. Он советует проявлять осторожность, прислушиваясь к советам других людей, и предлагает заняться самоанализом, чтобы определить, что приносит радость и самореализацию в жизни.

Докладчик размышляет о невероятных человеческих усилиях, затраченных на создание современной технологии, начиная с открытия транзистора и заканчивая упаковкой миллиардов транзисторов в один чип. Они выражают свою веру в итеративное развертывание и открытия как подход к решению проблем и подчеркивают важность совместной работы как цивилизации на пути к прогрессу. Глава заканчивается цитатой Алана Тьюринга о том, что машины потенциально могут взять управление в свои руки, как только они превзойдут человеческие мыслительные способности.