Дэвид Касселл, автор статей для таких изданий, как CNN, MSNBC и Wall Street Journal Interactive Edition, рассказывает о PyTorch, фреймворке глубокого обучения, который используют более 60% AI-специалистов, через призму сюжета документального фильма “Powering the AI Revolution”. Мы выделили и перевели самые интересные моменты из его статьи.

PyTorch имеет захватывающую историю. Предлагаем ознакомиться с обстоятельствами его создания, стремительным взлетом и влиянием на мир искусственного интеллекта.

В самом начале своего существования технология AI была представлена множеством инструментов, которые боролись за внимание пользователей. "Тогда было 15 или 20 инструментов, с помощью которых происходило ускорение развития", вспоминает соучредитель PyTorch, Соумит Чинтала. Инновации происходили, но были изолированы и разрознены. В 2015 году появился TensorFlow от Google, отточенный и высокопрофильный продукт, построенный с помощью инженерных ресурсов Google.

Рождение PyTorch

В 2016 году исследовательская лаборатория искусственного интеллекта Facebook стремилась к "прогрессу" в области компьютерного зрения. Им нужны были AI-приложения для новостной ленты Facebook, поиска и рекомендаций. Соумит Чинтала, присоединившись к команде, взялся за создание фреймворка, способного выдержать нагрузку этих сложных задач. Так появился проект создания PyTorch. 

Взлет PyTorch к вершине

Дэвид Касселл рассматривает эффект от появления PyTorch через призму документального фильма “Powering the AI Revolution”. Его гибкость и простота в использовании, в сочетании с растущим сообществом исследователей AI, быстро привели к широкому распространению технологии. Документальный фильм продемонстрировал использование PyTorch в таких компаниях, как Disney, Pixar, Astra Zeneca и даже NASA.

Доминирование PyTorch в мире искусственного интеллекта неоспоримо. Документальный фильм подчеркивает, как фреймворк стал ключевым компонентом передовых AI-приложений, таких как ChatGPT и Stable Diffusion. По мере того, как AI продолжает развиваться, PyTorch остается важным инструментом для исследователей и разработчиков, расширяющих границы возможного. Документальный фильм напоминает нам о невероятном прогрессе в области AI и о захватывающем будущем, которое нас ждет. 

Преимущества PyTorch

• PyTorch произвел революцию в разработке AI, предоставив исследователям и разработчикам надежный и гибкий фреймворк.

• Простота в использовании и гибкость фреймворка сделали его популярным выбором для широкого спектра AI-приложений.

• Будущее PyTorch выглядит светлым, его роль в передовых приложениях подчеркивает его постоянную актуальность и влияние.

Ключевые моменты фильма

В документальном фильме “Powering the AI Revolution” рассказывается о том, как небольшой коллектив разработчиков из Meta создал фреймворк, который стал движущей силой для миллионов AI-проектов.

В фильме Соумит Чинтала рассказывает о том, как в команду разработчиков PyTorch попал студент-первокурсник из Варшавского университета Адам Пашке, искавший стажировку. Пашке был активным участником сообщества Lua Torch и делится своими воспоминаниями о 2016-м годе: "Я был увлечен машинным обучением. Мне просто казалось, что это очень классная область, и я хотел больше узнать о ней". 

В период с декабря 2015 по апрель 2016 года небольшая команда работала над отделением математических функций C и C++ от связующих Lua. В итоге они осознали, что их можно связать с любым другим языком. "Все остальные библиотеки уже были на Python, и люди были довольны этим языком", вспоминает Пашке. Переход на Python был "естественным следующим шагом".

PyTorch был выпущен в январе 2017 года, и Чинтала вспоминает, как несколько людей сказали ему: "Вы помогли нам сделать великолепную работу". Уильям Фалькон, генеральный директор Lightning AI, в то время использовавший TensorFlow для AI-исследований в Стэнфорде, отмечает: "Это было как день и ночь". Чинтала также отмечает: "В 2017 году мы работали по 16 часов в день".

За два года работы над оптимизацией производительности PyTorch, его популярность взлетела. 

"Мы стали наблюдать, как на основе PyTorch появляются новые библиотеки", говорит Джо Спизак, который в то время возглавлял партнерство AI в AWS. Появились библиотеки для NLP, компьютерного зрения, обучения с подкреплением. "Весь мир AI начал работать на его основе, как на стабильном фундаменте".

В AMD заметили, что PyTorch стал предпочтительным фреймворком машинного обучения для "множества различных клиентов, разных размеров, из разных отраслей", вспоминает директор AMD по архитектуре решений Найлс Бербанк: "Это было то, что будет иметь важное значение. Мы начали работать над тем, чтобы взять PyTorch и адаптировать его таким образом, чтобы он мог использовать преимущества аппаратного ускорения — в частности, наших GPU-продуктов". В течение нескольких лет они тестировали улучшения на внутренней ветке и затем вносили их обратно в проект.

Чинтала видел, что PyTorch используется крупными компаниями, занимающимися беспилотными автомобилями, включая Tesla, Uber и Cruise. "Это было очень круто, даже немного пугало нас", говорит он, "мы чувствовали большую ответственность" за то, чтобы код был без ошибок. В Microsoft разработчики тоже использовали PyTorch, в том числе в таких ведущих проектах Microsoft, как UnlimBot и Office.

Спизак вспоминает, как в итоге Google тоже задумалась о поддержке PyTorch на своих TPU. Дварака Раджагопал, который руководил командой PyTorch Core Frameworks в Meta, а теперь является старшим директором по разработке Google AI, считает, что это было своего рода вехой. Раджагопал описывает это как доказательство того, что PyTorch можно перенести на другие аппаратные платформы, помимо GPU, и называет это "довольно важным моментом".

В фильме также рассказывается о решении 2022 года перенести проект с открытым исходным кодом PyTorch в собственный фонд. В то время Linux Foundation пошутил: "Мы благодарны Meta за то, что они "передали нам фреймворк.".

В 2022 году PyTorch был передан в фонд Linux Foundation. Это подчеркивает важность открытого кода в развитии AI: "Сообщества с открытым исходным кодом играют и будут играть ведущую роль в разработке инструментов и решений, которые делают AI и ML возможными — и делают их лучше с течением времени", — говорится в заявлении фонда. За год (с августа 2021 по август 2022) в проект PyTorch было внесено более 65 000 коммитов, а участие приняли более 2 400 разработчиков.

В завершении документального фильма разработчики делятся своим видением будущего PyTorch. "Каждый день мы оглядываемся вокруг и говорим: "Да, это мы там. Это мы там". Это так круто видеть", — говорит Джо Спизак. А Дварака Раджагопал добавляет: "Я считаю, что мы только начинаем".

Брайан Грейнджер из AWS утверждает, что на основе фундаментальных проектов с открытым исходным кодом, таких как PyTorch, возникают новые уровни инноваций, позволяющие людям и организациям "делать то, что они никогда не смогли бы сделать без этих уровней инноваций, построенных на вершине этих проектов с открытым исходным кодом". Спизак прогнозирует, что PyTorch будет в центре еще более разнообразного набора платформ: "Будь то вычисления на устройствах, окружающие вычисления или носимые устройства.".

Паринита Рахи из Microsoft предсказывает, что все больше и больше приложений будут построены с использованием мощных языковых моделей (LLM), освобождая людей от ограничений аппаратных средств для создания решений, обогащающих жизнь. "Все в наших руках", — считает она. Найлс Бербанк из AMD также прогнозирует яркое будущее, возникшее благодаря более совершенным технологиям. "Когда вы применяете больший объем вычислений или большее количество итераций к задаче, те же основные методы продолжают давать все лучшие и лучшие результаты".

В итоге он видит мир, где исследователи и промышленные клиенты берут LLM и "масштабируют их так, что даже по стандартам вычислительной отрасли это беспрецедентно".

Мы в Шерпа Роботикс стремимся сделать наш центр искусственного интеллекта Sherpa AI Server таким же полезным и значимым для корпоративной ИИ-экосистемы использования генеративных языковых моделей, каким PyTorch стал для открытого сообщества в сфере традиционных нейросетей и глубокого обучения.

Будучи коробочным продуктом для быстрой ИИ-трансформации компаний, Sherpa AI Server “под капотом”, разумеется, использует и PyTorch, и многие другие проверенные временем открытые библиотеки.

Всячески желаем PyTorch дальнейшего развития.

А Вы уже посмотрели фильм “Powering the AI Revolution”? Поделитесь впечатлениями в комментариях.

Ссылка на фильм на YouTube: https://youtu.be/rgP_LBtaUEc?si=Nzn3wThbtHVFfC6W