Главный вопрос письма В письме содержится призыв к немедленной паузе в обучении систем искусственного интеллекта, более мощных, чем GPT-4, ссылаясь на опасения по поводу неконтролируемой гонки за разработкой и внедрением все более мощных цифровых умов, которые никто не может понять, предсказать или надежно контролировать. Они спрашивают, не следует ли нам автоматизировать все рабочие места, включая приносящие удовлетворение, и рисковать потерять контроль над нашей цивилизацией.

Поддержка исследований и привлекающие внимание названия В письме приводятся 18 подтверждающих документов, включая исследования по проблеме выравнивания от инсайдеров, работающих с этими моделями. Среди подписантов такие известные имена, как Стюарт Рассел, Джошуа Бенджио и Макс Тегмарк, которые выступают за понятный интеллектуальный подход вместо простого обучения больших нейронных сетей с большим количеством данных.

Надежда и оптимизм Хотя ставки высоки, есть основания для надежды. Достигнут прогресс в понимании механизмов вычислений нейронными сетями, и разрабатывается множество определений выравнивания с различных точек зрения. Письмо завершается на более оптимистичной ноте, призывая отказаться от опасной гонки и перейти ко все более крупным непредсказуемым моделям "черного ящика" с новыми возможностями, такими как самообучение, и насладиться долгим летом искусственного интеллекта, не бросаясь неподготовленными в AGI.