Влияние трансформаторных архитектур Концепция внимания в нейронных сетях, представленная в статье "Внимание - это все, что вам нужно", опубликованной исследователями Google в 2017 году, произвела революцию в задачах обработки естественного языка и привела к разработке влиятельных моделей-трансформеров, таких как GPT, BERT, GPT-2 и GPT-3. Трансформаторы также нашли применение за пределами языковой обработки, такое как предсказание сворачивания белков и обнаружение аномалий.
Стартапы, основанные авторами книги "Внимание - это все, что вам нужно" Шесть из восьми авторов, написавших статью "Внимание - это все, что вам нужно", создали стартапы, связанные с искусственным интеллектом и криптографией, которые в совокупности привлекли более 1 миллиарда долларов венчурного финансирования. К таким стартапам относятся NEAR Protocol (соучредитель Илья Полосухин), Cohere.ai (соучредитель Эйдан Гомес), Inceptive (соучредитель Якоб Ушкорейт), Adept AI Labs (соучредители Ники Пармар и Ашиш Васвани) и Character.AI (основатель/соруководитель Ноам Шазир).