Пристальный взгляд на известных разработчиков Google, стоящих за GPT-4, и на то, какие стартапы они запускают сегодня
Коротко
Создатели архитектуры нейронной сети Transformer покинули Google, чтобы запустить собственный бизнес, который привлек миллионы долларов и оценивается более чем в 1 миллиард долларов.
Если вы смотрели сериал «Кремниевая долина» и не пропустили последнюю серию, то помните, чем все закончилось: команда собирается вместе двадцать лет спустя, вспоминая прошлое.
Посмотрим, что стало с авторами архитектуры нейросети Transformer, лежащей в основе ChatGPT и GPT-4. Команда была представлена в статье «Внимание это все что вам нужноGoogle Research (июнь 2017 г.). Авторы перечислены ниже в том же порядке, что и в статье Google.
Ашиш Васвани покинул Google в конце 2021 года, чтобы начать искусный, которая привлекла 415 миллионов долларов и на данный момент оценивается в более чем 1 миллиард долларов. Однако Ашиш покинул Adept несколько месяцев назад — в декабре 2022 года, сразу после выпуска ChatGPT — и основал новый стартап. На данный момент стартап пока безымянный, и неясно, сколько человек присоединилось к компании и над чем они работают.
Вернувшись в Google, Васвани работал над дизайном модели на ранних стадиях и полностью ее запрограммировал.
Ноам Шазир работал в Google более 20 лет, с декабря 2000 года. В октябре 2021 года уволился и основал стартап Персонаж.ai. С тех пор компания уже привлекла 200 миллионов долларов и достигла оценки почти в 1 миллиард долларов. По данным LinkedIn, там работает около 20 сотрудников, поэтому стоимость за доллар впечатляет. Именно Ноам ввел идею о разных «головах» в механизме внимания.
| Прочитайте больше: Как использовать ChatGPT (GPT-4) бесплатно навсегда |
Ники Пармар, единственная женщина-соавтор статьи, до ноября 2021 года была штатным исследователем в команде Google Brain. Затем она присоединилась к Ашишу Васвани в Adept. Однако, как мы уже знаем, долго они там не задержались и вместе ушли, чтобы начать новый проект. Ники провел множество экспериментов по обучению и проверке модели.
Якоб Ушкорайт — многие называют его главным мозгом изобретения архитектуры Transformer. Именно он предложил заменить рекуррентные сети аналогичным механизмом «внимания» и начал прототипировать первый подход. Он покинул Google в середине 2021 года и основал Первоначальная жизнь, где команда работает над нейросетевым моделированием мРНК. мРНК — это то, что (иногда) лежит в основе вакцин (например, вакцины Covid-19 от Pfizer-BioNTech).
Лион Джонс — единственный человек в этом списке, который до сих пор работает в Google. По его словам, именно он предложил название статьи, которая стала мемом и породила десятки других статей с шаблоном «Х — это все, что вам нужно». Он также отвечал за оптимизацию вывода моделей и визуализацию для экспериментов и статей.
| Прочитайте больше: Лучшие инструменты обнаружения контента AI в 2023 году |
Эйдан Гомес покинул Google осенью 2019 года, чтобы основать Cohere.ai. Компания продолжает работать над языковыми моделями; некоторые из их продуктов аналогичны вариантам использования, которые были у людей в первые дни после выпуска ChatGPT. Удалось привлечь более 400 миллионов долларов инвестиций и вырастить компанию почти до 200 сотрудников.
Лукаш Кайзер, проработав более семи лет в Google, ушел летом 2021 года, чтобы работать в OpenAI. В оригинальной статье говорится, что Лукаш отвечал за разработку и оптимизацию кода. Он является одним из соавторов TensorFlow, библиотеки для создания и обучения нейронных сетей. Он очень сильный инженер — и сейчас работает над GPT 👀 В рамках работы над Transformer он работал с Эйданом Гомесом над улучшением кодовой базы и ускорением итераций в исследовательской работе (за счет упрощения взаимодействия и создания прототипов).
Илья Полосухин покинул Google в 2017 году, до выхода статьи, чтобы основать Возле, протокол блокчейна, который, по сути, является конкурентом Ethereum. Его текущая оценка составляет около 2 миллиардов долларов, и всего за шесть лет в качестве инвестиций было привлечено более 375 миллионов долларов.
Чем занимались восемь бывших авторов статьи о трансформерах из Google Brain с декабря 2017 года? 🧐
Давайте узнаем вместе! 🧵
Бумага: https://t.co/bPtWxlLYSA
Источники: Google, Pitchbook, LinkedIn.
// @ashVaswani @NoamShazeer @aidangomezzz @никипармар09 @YesThisIsLion… pic.twitter.com/7hXsY3tEm6
— Джей Джей (@JosephJacks_) 15 апреля 2023
Подробнее об ИИ: