Крейг Смит берет интервью у Ильи Суцкевера, соучредителя и главного научного сотрудника OpenAI Илья Суцкевер рассказывает о своем опыте работы в области искусственного интеллекта и его работе с Джеффом Хинтоном, а также о прорывах в области сверточных нейронных сетей и разработке модели Transformer. Он также рассматривает ограничения больших языковых моделей и потенциал обучения с подкреплением для улучшения их результатов.

Потенциал языковых моделей для понимания мира Суцкевер утверждает, что языковые модели обладают потенциалом для достижения глубокого понимания мира благодаря статистическим закономерностям, которые они усваивают из текста. Он приводит примеры языковых моделей, демонстрирующих поведение, которое можно было бы интерпретировать с помощью языка психологии, и предполагает, что по мере того, как генеративные модели становятся более продвинутыми, они будут лучше понимать мир.

Ограничения больших языковых моделей Суцкевер признает, что большие языковые модели имеют тенденцию к галлюцинациям и выдают неадекватные результаты, но предполагает, что обучение с подкреплением на основе обратной связи с человеком могло бы решить эти проблемы. Он объясняет, что цикл обратной связи от общедоступных интерфейсов, таких как чат GPT, может быть использован для обучения модели выдавать более точные выходные данные.

Мультимодальное понимание Докладчик считает, что мультимодальное понимание желательно для того, чтобы система лучше понимала мир и людей. Они работали над нейронными сетями, такими как CLIP и DALL-E, которые движутся в этом направлении, но они также утверждают, что можно изучать некоторые вещи только из текста, хотя и медленнее.

Прогнозирование векторов высокой размерности Докладчик не согласен с утверждением, что прогнозирование векторов большой размерности с неопределенностью является серьезной проблемой, с которой не могут справиться современные авторегрессионные трансформаторы. Они утверждают, что эти трансформеры уже обладают этим свойством и могут отлично работать с изображениями, как показано в их работе с GPT OpenAI.

Искусственный интеллект и демократия Спикер считает, что искусственный интеллект может быть полезен практически в любой ситуации, включая демократию. Они предполагают, что в будущем граждане могли бы предоставлять нейронным сетям информацию о том, как они хотят, чтобы все было, что могло бы стать формой демократии с высокой пропускной способностью. Однако они также признают, что невозможно понять все и что всегда будет выбор, на каких переменных сосредоточиться.