Google открыла код TorchTPU для запуска PyTorch на своих ИИ-чипах — TechCrunch
Google объявила об открытии кода проекта TorchTPU, который позволяет разработчикам запускать приложения на базе PyTorch на ее чипах Tensor Processing Units (TPU). Для переноса на TPU и облачную платформу Google Cloud достаточно изменить конфигурацию, без переписывания приложения, сообщает TechCrunch.
Альтернатива графическим процессорам Nvidia
PyTorch — популярный открытый инструментарий для создания, обучения и запуска моделей искусственного интеллекта. По некоторым оценкам, он используется в 85% ИИ-приложений. Разработку PyTorch в 2016 году начала Meta, а в 2022 году передала проект Linux Foundation.
Многие функции PyTorch изначально создавались с расчетом на графические процессоры Nvidia, которые уже тогда были стандартным оборудованием для исследований в сфере искусственного интеллекта. TorchTPU должен упростить использование альтернативных чипов Google для программ, которые ранее были ориентированы на GPU Nvidia.
Больше актуальных новостей — в Telegram-канале UA.News Telegram.
Amazon также выпустила собственный инструмент
Днем ранее Amazon представила TorchNeuron — инструмент для переноса приложений PyTorch на собственные ИИ-чипы Trainium и в облако AWS без переписывания кода. Компания также заявила, что передаст в основной проект PyTorch код, который отделяет отдельные функции от чипов Nvidia и делает их более доступными для различного оборудования.
Google сообщила о сотрудничестве с Meta, Hugging Face, Inferact — разработчиком vLLM, RadixArk — разработчиком SGLang, и другими участниками рынка, чтобы обеспечить совместимость TorchTPU с популярными инструментами разработки. Компания также запустила TPU agent suite для переноса приложений и исправления ошибок, а инструмент LiteRT адаптировала для более эффективной работы с ИИ-приложениями PyTorch на телефонах, ноутбуках и встраиваемых устройствах.
