Рассказчик интересуется аппаратным обеспечением, стоящим за ChatGPT, и обнаруживает, что некоторые из них на удивление старые.

На этапе обучения нейронная сеть получает огромные объемы данных и обрабатываются миллиарды параметров. Требования к оборудованию на этом этапе огромны, поскольку ему приходится обрабатывать большие объемы данных, которые многократно проверяются по миллиардам различных параметров. С другой стороны, выполнение выводов требует менее ресурсоемких исходных вычислительных мощностей, но низкая задержка и высокая пропускная способность становятся гораздо более важными при ответе на множество одновременных запросов от пользователей.

Microsoft и OpenAI построили суперкомпьютер с более чем 285 000 процессорными ядрами и более чем 10 000 графическими процессорами для обучения GPT-3. Научная статья, опубликованная OpenAI в июле 2020 года, показала, что все модели были обучены на графических процессорах V100, предоставленных Microsoft.

Спонсор NordPass предоставляет безопасное и удобное решение для управления паролями, шифруя все пароли локально с помощью шифрования XChaCha20. С настольными клиентами для различных операционных систем и приложениями для Android и iOS, он предлагает доступный вариант с эксклюзивным двухлетним предложением плюс один месяц бесплатно при использовании кода highyieldnordpass.

Графические процессоры Nvidia V100, основанные на чипе GV100 с 21,1 миллиардом транзисторов, произведенных TSMC по 12-нанометровому технологическому процессу, впервые представили совершенно новые тензорные ядра Nvidia. Архитектура Volta была специально разработана для ускорения рабочих нагрузок искусственного интеллекта, таких как обучение и логический вывод, требуя до шести раз более быстрого вывода ИИ и в 12 раз более быстрого обучения ИИ всего за счет 640 новых тензорных ядер, способных выдавать массивные 125 терафлопс. Это позволило Microsoft и OpenAI обучать GPT-3 с помощью своего суперкомпьютера, построенного на основе этой технологии, несмотря на то, что с сегодняшнего дня прошло почти шесть лет, когда они начали планировать это еще в мае 2017 года, потому что поколение Ampere было запущено примерно в то же время, но для них было слишком поздно, поскольку создание таких мощных суперкомпьютеров требует времени, которое это задержало бы весь проект, если бы они ждали дольше, чем необходимо.

ChatGPT - это специализированная модель машинного обучения, ориентированная на общение в чате на основе естественного текста и более низкие требования к вычислительным ресурсам. Он был обучен на суперкомпьютерной инфраструктуре Azure AI, в частности, с использованием графических процессоров Nvidia Ampere поколения A100, которые были представлены в июне 2021 года. Аппаратное обеспечение, используемое для обучения ChatGPT, возможно, было таким же, как и для обучения Megatron-Turing NLG, нейронной сети с 530 миллиардами параметров, обученной на 560 серверах Nvidia DGX A100, содержащих 4480 графических процессоров A100.

GPT-3 был обучен на суперкомпьютере Microsoft с 10 000 графическими процессорами Nvidia V100 и более чем 285 000 процессорных ядер. Технические характеристики оборудования для обучения ChatGPT официально недоступны, но, по оценкам, система, используемая для Megatron-Turing NLG, имела около 1120 процессоров AMD EPYC с более чем 70 000 процессорных ядер и 4480 графических процессоров Nvidia A100.

Вывод ChatGPT в настоящее время поддерживается серверами Microsoft Azure и одним экземпляром Nvidia DGX или HGX A100. Только для обеспечения вывода для ChatGPT в текущем масштабе, который стоит от 500 000 до 1 миллиона долларов в день, потребуется более 3500 серверов Nvidia A100 с почти 30 000 графическими процессорами.

Индустрия аппаратного обеспечения переключает свое внимание на архитектуры, специально разработанные для ускорения рабочих нагрузок искусственного интеллекта. Новое поколение Nvidia Hopper поставляется уже некоторое время, обеспечивая еще один уровень производительности искусственного интеллекта, более чем в 3 раза превышающий производительность GA100, и обеспечивая 1000 терафлопс тензорной производительности для одного графического процессора Nvidia H100.

Современные высокопроизводительные модели машинного обучения были обучены на аппаратном обеспечении искусственного интеллекта первого поколения, и даже ChatGPT использовал графические процессоры Ampere второго поколения от Nvidia. Поскольку в искусственный интеллект поступает все больше денег, аппаратное обеспечение для его ускорения будет быстро развиваться через несколько лет.