AI-агенти прискорюють створення складних симуляцій в NVIDIA Omniverse

Розробники можуть значно прискорити процес створення симуляцій, використовуючи новітні моделі штучного інтелекту (AI) та бібліотеки NVIDIA Omniverse. Ці інструменти дозволяють перетворювати ідеї в реальні програми для дослідження сценаріїв, аналізу збоїв та вдосконалення дизайну.

Розробники тепер можуть керувати AI-агентами за допомогою команд природною мовою, переглядати результати та вносити корективи. Бібліотеки NVIDIA Omniverse забезпечують прискорену на GPU фізику, рендеринг та симуляцію датчиків.

Приклади використання AI-агентів у симуляціях:

Симулятор гуманоїдного робота для складського середовища

Для автоматизації складських завдань необхідне інтерактивне середовище симуляції. Френк ДеЛайз, менеджер з продуктів Omniverse у NVIDIA, використав модель Astra для створення інтерактивного симулятора складського середовища з гуманоїдним роботом. Симулятор дозволяє досліджувати поведінку робота з першої та третьої особи, керуючи ним за допомогою фізики.

ДеЛайз дав вказівки Astra щодо підключення бібліотек NVIDIA Omniverse для фізики (ovphysx), оновлення сцен (ovstage), рендерингу (ovrtx) та інтерфейсу користувача (ovui). Astra також згенерувала анімаційний та прикладний код, об’єднавши ці можливості.

Інтеграція автономного водіння в тестовий робочий процес

Зміни в сцені, датчиках або моделях водіння можуть суттєво впливати на результати симуляцій автономних транспортних засобів. Доюб Кім, менеджер команди симуляційних технологій NVIDIA, доручив Astra створити багаторазове середовище симуляції «Zero to Alpamayo», засноване на вулиці Маркет-стріт у Сан-Франциско.

Кім керував процесом, інтегруючи створення ресурсів, трафік, симуляцію датчиків Omniverse RTX та моделі водіння Alpamayo. Результатом став прототип, який слугує тестовим майданчиком для порівняння моделей та відстеження впливу змін у сцені чи датчиках на поведінку водіння. Окремий експеримент Cosmos3-Nano змінював погодні умови та освітлення в записаних відео симуляцій, дозволяючи порівняти реакцію моделі водіння на однакові сценарії за різних умов.

Використання відмінностей датчиків для створення та покращення цифрових двійників

Для тестування роботів та автономних транспортних засобів важливо, наскільки симульовані датчики відповідають реальним. Ешлі Рід з команди RTX sensor validation у NVIDIA за допомогою агентів Astra та Claude Fable 5 порівняла вихідні дані з камер ovrtx та LiDAR із записаними даними.

Агенти створили два цифрові двійники з нуля та покращили два існуючих. Протягом трьох днів Рід керувала ітеративним процесом, під час якого агенти вимірювали відмінності, створювали або модифікували сцени OpenUSD та перевіряли результати. Зміни стосувалися відсутніх об’єктів, геометрії та матеріалів, а прийняття базувалося на метриках камер та LiDAR.

Robo Olympics: тестування навичок роботів за допомогою симуляції

Навчання роботів новим рухам вимагає перевірки їхньої працездатності в умовах фізичних обмежень. Те Кім, керівник відділу інженерії та продуктів NVIDIA Omniverse, використовував спортивні відео та інструкції природною мовою, щоб спрямувати Astra у створенні проекту Robo Olympics. Цей експериментальний проект тестує симульованих гуманоїдних роботів Unitree G1, які виконують спортивні рухи.

Під керівництвом Кіма Astra створювала контролери та вдосконалювала їх шляхом фізичних випробувань. Рушій Newton Physics Engine моделював поведінку, фреймворк NVIDIA Warp прискорював обчислення, а ovrtx рендерив сцени та зображення з віртуальних камер. В одному з експериментів робот подолав одну перешкоду в 64 зі 100 симуляційних спроб. Ці випробування надали Кіму зворотний зв’язок для покращення таймінгу та контролю робота.

Тестування роботизованого розбирання за допомогою САПР та симуляції

Перш ніж робот зможе розібрати продукт, розробники повинні переконатися, що його інструменти можуть дістатися до деталей та їх вийняти. Йенс Джебенс, старший менеджер з продуктів OpenUSD у NVIDIA, доручив Astra моделювати підвіску автомобіля в PTC Onshape та налаштувати її в NVIDIA Isaac Sim.

За допомогою Astra Джебенс досліджував рішення щодо САПР та інструментів для роботів, спираючись на симуляцію. Агент виміряв доступний простір і розробив ключ, який дозволив роботу дістатися до болтів підвіски. Джебенс повідомив про успішне видалення компонента підвіски в симуляції, що пов’язує рішення щодо дизайну та інструментів з результатами розбирання.

Міжнародна космічна станція в браузері

Перетворення 3D-моделей на функціональну програму потребує поєднання ресурсів, даних у реальному часі та інтерфейсу. Нік Джонс, керівник відділу інженерії NVIDIA, дав запит Astra на збирання ресурсів NASA у модель Міжнародної космічної станції OpenUSD з телеметрією.

Джонс створив додаток одним запитом, а потім використав наступний запит, щоб перемістити сцену на денну сторону Землі, зробивши планету видимою. Робочий процес використовував Blender для підготовки ресурсів та бібліотеки Omniverse для рендерингу (ovrtx), середовища виконання сцени (ovstage) та потокового передавання (ovstream). Додаток надає 3D-моделі та операційні дані в браузері, а Джонс керував його розробкою за допомогою запитів та виправлень.

Перетворення захоплених кімнат на тестові середовища

Цифрово реконструйована кімната потребує редагованих об’єктів та точної фізичної поведінки, перш ніж розробники зможуть тестувати взаємодії. Чіраг Маджітія з команди Isaac engineering applications NVIDIA спрямував Astra на перетворення стереокамерних знімків на редаговане середовище OpenUSD.

Робочий процес поєднав PyCuSFM, FoundationStereo та nvblox для реконструкції, а перегляд користувачем керував вибором та розміщенням об’єктів. Astra зібрала згенеровані ресурси та ресурси, створені в Blender, і використала USD Content Agents для налаштування взаємодії об’єктів у симуляції. Тести Isaac Sim допомогли переглянути зіткнення та контакти дверей і ящиків. Студія поєднує захоплену геометрію з тестуванням взаємодії, спрощуючи інспектування прогалин та поведінки об’єктів.

Маєте ідею для симуляції? Ознайомтеся з бібліотеками NVIDIA Omniverse, щоб розпочати створення за допомогою AI-агента.

джерело: NVIDIA