Прорывы в области искусственного интеллекта Илья Суцкевер, соучредитель и главный научный сотрудник OpenAI, приписывает свои многочисленные прорывы в области искусственного интеллекта своему упорному труду и самоотверженности. Он считает, что искусственный интеллект, прежде чем он станет AGI, будет с каждым годом приобретать все большую ценность в геометрической прогрессии.

Экономическая ценность искусственного интеллекта Трудно предсказать точный процент ВВП, в который искусственный интеллект внесет свой вклад

Тем не менее, Илья Суцкевер считает, что экономическая ценность, создаваемая искусственным интеллектом, будет составлять значительный многолетний промежуток времени с настоящего момента до AGI. Единственной потенциальной проблемой могут быть проблемы с надежностью, которые могут снизить экономическую ценность, которую могут создавать системы искусственного интеллекта.

Ожидается, что нынешняя парадигма генеративных моделей зайдет далеко, но это может быть не форм-фактор AGI. Следующая парадигма, скорее всего, будет включать в себя интеграцию всех различных идей из прошлого. Прогнозирование следующего токена может превзойти человеческие показатели, если базовая нейронная сеть достаточно умна, чтобы экстраполировать, как поведет себя человек с большой проницательностью, мудростью и способностями. Большая часть обучения с подкреплением по умолчанию уже поступает от ИИ, и есть надежда вывести людей из цикла и заставить ИИ совершенствоваться в сотрудничестве человека и машины. Специальное обучение и усовершенствования базовых моделей могут помочь преодолеть барьер многоэтапного рассуждения.

В интервью обсуждается возможность исчерпания токенов reasoning для обучения моделей и необходимость альтернативных способов улучшения их возможностей. Самый ценный источник данных - это любой источник, предоставляющий токены, которые более интересны и говорят о более разумных вещах. Мультимодальный подход кажется плодотворным направлением, и прогресс в робототехнике возможен при достаточной мотивации. Текущее аппаратное обеспечение не является ограничением, но было бы лучше использовать более дешевое оборудование с более высокой пропускной способностью памяти.

Выравнивание Будет получено множество определений выравнивания с разных точек зрения, и для снижения вероятности несоосности потребуется комбинация подходов. Степень выравнивания должна увеличиваться быстрее, чем возможности моделей.

Исследования в области искусственного интеллекта и доходы Понимание моделей все еще довольно рудиментарно, и небольшой нейронной сети, которая хорошо понята, будет дано задание изучить поведение большой нейронной сети, которая не понята для проверки. Open AI прогнозирует выручку в размере миллиарда долларов в 2024 году, основываясь на росте их продуктов, и для относительно разумных экстраполяций необходимы данные.

Будущее после AGI Будущее после AGI неопределенно, но искусственный интеллект может помочь людям стать более просвещенными и расширить свой кругозор. Некоторые люди могут захотеть стать частью искусственного интеллекта, чтобы решать самые сложные проблемы общества.

Аппаратное обеспечение Google из ТПУ Процессоры TPU и графические процессоры очень похожи, единственное, что имеет значение в отношении аппаратного обеспечения, - это стоимость одного флопа и общая стоимость системы. Чип TPU меньше и дешевле, но графические процессоры могут быть дешевле в целом из-за их большего размера.

Важность понимания в работе с искусственным интеллектом Основным видом деятельности в работе с искусственным интеллектом является понимание результатов и существующих идей, а не просто выдвижение новых идей. Это включает в себя определение того, какой следующий эксперимент провести, и понимание того, что могло привести к неожиданным результатам.

Прогнозирование возникающих свойств в крупномасштабных моделях Хотя можно делать прогнозы относительно конкретных возможностей крупномасштабных моделей, это непростая задача и требует дальнейших исследований. Закон масштабирования для точности предсказания следующего слова может не обязательно коррелировать со способностью рассуждать, и могут быть полезны другие методы, такие как токены рассуждения.

Прогресс в области обработки данных, графических процессоров и трансформаторов взаимосвязан и не является случайным. Революция в области глубокого обучения могла бы затянуться на год или максимум на несколько лет, если бы такие пионеры, как Янн Лекун и Джеффри Хинтон, никогда не родились. Исследование выравнивания - это одно из мест, где академические исследователи могут внести значимый вклад. Влияние языковых моделей можно увидеть как в мире битов, так и в мире атомов.

Оглядываясь назад, прогресс в направлении сверхчеловеческого искусственного интеллекта не будет казаться прорывом, поскольку это будет то, что всегда было желанным, но не реализованным. Прорывы, вероятно, произойдут, но они не будут очевидны до тех пор, пока не произойдут сами по себе. Использование людей в качестве примера для изучения интеллекта в моделях должно осуществляться с осторожностью, а настойчивость является необходимым, но не достаточным условием успеха в исследованиях.