Что такое генеративный ИИ и как он работает? – Лекции по Тьюрингу с Миреллой Лапатой

Генеративный искусственный интеллект сочетает в себе концепции искусственного интеллекта и создания контента. Он позволяет компьютерным программам выполнять задачи, которые обычно выполняются людьми, создавая новый контент, такой как аудио, изображения, код или текст, на основе изученных шаблонов. Основное внимание здесь уделяется обработке естественного языка и тому, как эта технология функционирует как инструмент, а не как мифическая сущность. Понимание ее возможностей позволит прояснить роль генеративного ИИ в создании различных форм письменной коммуникации.

Эволюция генеративного ИИ: от основ к прорывам Генеративный ИИ существует уже много лет, и его возможности демонстрируют такие ранние примеры, как Google Translate и Siri. Эти инструменты используют языковое моделирование для прогнозирования продолжения текста, что упрощает выполнение повседневных задач без особой помпы. Недавний всплеск интереса во многом обусловлен GPT-4 от OpenAI, который может впечатляюще работать в стандартизированных тестах и генерировать сложный письменный контент на основе запросов пользователя.

Беспрецедентный рост: понимание влияния GPT-4 GPT-4 представляет собой значительный шаг вперед по сравнению с более ранними генеративными моделями, демонстрируя расширенные функциональные возможности, такие как написание эссе или программирование по запросу. Очевидно, что его быстрое внедрение достигло 100 миллионов пользователей в течение двух месяцев — намного быстрее, чем у предшественников, таких как Google Translate и TikTok. Несмотря на шумиху вокруг этих достижений, лежащая в их основе технология остается доступной и не слишком сложной.

Эволюция от универсальных систем, таких как Google Translate, к сложным моделям, таким как ChatGPT, основана на достижениях в области языкового моделирования. Языковое моделирование предсказывает следующее слово на основе контекста, используя для обучения огромные объемы текстовых данных, а не простые методы подсчета. Современные нейронные сети улучшают этот процесс прогнозирования, изучая сложные закономерности, а не полагаясь исключительно на частоту. Основная функция заключается в предоставлении подсказки, которая задает контекст, позволяя модели генерировать соответствующие продолжения или ответы на основе вероятностей, полученных в результате ее обучения.

Сбор данных для обучения модели Создание больших языковых моделей начинается со сбора массивных текстовых данных из различных источников, таких как Википедия, социальные сети и форумы. Следующий шаг заключается в использовании этих данных для обучения модели путем прогнозирования пропущенных слов в предложениях с помощью нейронной сети. Этот итеративный процесс продолжается до тех пор, пока модель точно не предскажет эти слова на основе изученных вероятностей.

Понимание архитектуры нейронных сетей Архитектура языковых моделей в значительной степени основана на нейронных сетях, в частности, на преобразователях, которые состоят из нескольких уровней, помогающих идентифицировать закономерности во входных векторах, а не просто в исходных словах. Каждый уровень обрабатывает входные и выходные связи, известные как веса или параметры, которые корректируются во время обучения для повышения точности с течением времени.

Специализация За счет тонкой настройки После обучения большие языковые модели проходят тонкую настройку, в ходе которой они адаптируют свои предварительно приобретенные знания к конкретным задачам, таким как медицинская диагностика или написание отчетов. Эта специализация повышает их производительность в целевых приложениях, сохраняя при этом общее понимание, полученное на начальных этапах обучения.

Эволюция языковых моделей показала значительное увеличение размера и сложности, особенно с 2018 года. GPT-4 может похвастаться впечатляющим количеством в один триллион параметров, но это все еще не дотягивает до 100 триллионов параметров человеческого мозга. Хотя размер модели имеет решающее значение для производительности, объем текста, обрабатываемого во время обучения, также играет важную роль; однако этот рост не соответствует росту размеров параметров. Поскольку эти модели приближаются к обработке огромных объемов письменного контента, такого как английская Википедия, задача по—прежнему заключается в том, чтобы обеспечить качество, а не количество при создании нового текста для целей переподготовки.

Масштабирование языковых моделей значительно расширяет их возможности, позволяя им выполнять более широкий спектр задач. Начиная с 8 миллиардов параметров, можно выполнять базовые функции, такие как обобщение и перевод. Когда модель расширяется до 540 миллиардов параметров, она может выполнять более сложные задачи, такие как понимание прочитанного и расширенный уровень владения языком. Это показывает, что более крупные модели не только повышают производительность, но и расширяют спектр приложений, которыми они могут эффективно управлять.

ChatGPT, изначально разработанный как языковая модель для предсказания и завершения предложений, часто не соответствует ожиданиям пользователей из-за ограниченного понимания различных задач. Чтобы устранить этот пробел, необходима тонкая настройка; она включает в себя сбор многочисленных примеров желаемых инструкций от пользователей и соответствующее обучение модели. Этот процесс позволяет ChatGPT обобщать различные невидимые задачи, одновременно решая проблему согласования, обеспечивая, чтобы ИИ вел себя так, как люди считают полезным. Платформа HHH делает упор на то, чтобы GPT был полезным, честным и безвредным, улучшая его способность точно следовать инструкциям, не вызывая предвзятых или токсичных реакций. Точная настройка становится более сложной при включении человеческих предпочтений в процесс обучения, но в конечном итоге повышает производительность при выполнении конкретных запросов.

Соединенное Королевство является конституционной монархией, а королева Елизавета III является правящим монархом на момент последнего обновления информации в сентябре 2021 года. Вопросы о нынешних политических деятелях, таких как Риши Сунак, показывают, что AI, возможно, не располагает актуальной информацией об их ролях; ранее он был известен как канцлер казначейства, но позже стал премьер-министром. Аудитория вовлекается, предлагая стихи и шутки, демонстрируя, как юмор может быть получен из игры слов — например, почему Алан Тьюринг не включал свой компьютер, чтобы он не "кусался". Кроме того, попытки придумать песни или объяснения часто приводят к длинным ответам, а не к кратким.

Языковые модели не всегда точны и объективны, часто отражая исторические предубеждения в своих выводах. Например, сервис Google Bard допустил существенную ошибку, заявив, что получил первое изображение экзопланеты, хотя это достижение было достигнуто несколькими годами ранее. Эта ошибка повлекла за собой серьезные финансовые последствия для Google, подчеркнув потенциальную опасность дезинформации со стороны систем искусственного интеллекта. Кроме того, языковые модели могут проявлять предвзятость; они могут шутить о мужчинах, но не о женщинах и избегать однозначных оценок спорных фигур, таких как диктаторы.

Внедрение больших языковых моделей (LLM), таких как Llama 2, значительно влияет на энергопотребление, требуя в 100 раз больше энергии для выполнения одного запроса по сравнению с традиционным поиском. Обучение и эксплуатация этих моделей приводят к значительным выбросам углекислого газа; например, Llama 2 за время своей разработки произвела более 539 метрических тонн CO2. По мере развития технологий ожидается сокращение рабочих мест в секторах, связанных с выполнением повторяющихся задач, таких как создание текстов и контента — по оценкам Goldman Sachs, под угрозой могут оказаться около 300 миллионов рабочих мест. Кроме того, достижения в области искусственного интеллекта привели к появлению случаев дезинформации с помощью поддельных новостных статей, созданных студентами с помощью чат-ботов, или глубоких подделок, имитирующих голоса и внешность знаменитостей.

Будущее ИИ неопределенно, но опасения по поводу злонамеренных сверхразумных машин в значительной степени необоснованны. Тим Бернерс-Ли подчеркивает, что, хотя мы не можем предсказать, как будет выглядеть сверхразумный ИИ, многие существующие интеллектуальные ИИ могут быть полезными. Хотя некоторые из них могут попасть не в те руки, у общества есть возможность снизить риски, а не полностью отказаться от этих технологий. Исследования показывают, что современные модели, такие как ChatGPT, не могут самостоятельно воспроизводиться или действовать как вредные агенты.