Пришла третья весна виртуальных миров: после VRML и Second Life появился metaverse на стандарте USD — и для промышленных применений NVIDIA предлагает платформу фотореалистичных и с реалистичной физикой виртуальных коллаборативных миров Omniverse. В посте три части и огромное количество ссылок на тексты и видео: — Omniverse сходу заявляется не для людей (вернее, «и для людей тоже») — Omniverse как инструмент моделирования в традиционном (без AI) проектировании— И что дальше?

У виртуальных миров такие же зимы и вёсны, как и у искусственного интеллекта -- все они проходят в ритме роста доступной вычислительной мощности и очарование новыми возможностями так же быстро заменяется разочарованием. Всего было три весны:
-- середина 90х прошла под знаком VRML (https://en.wikipedia.org/wiki/VRML), когда хотели строить трёхмерные вебсайты (был всемирный «поиск метафоры», по итогам которого победило «левое меню» в 2D -- но рассматривались и 3D вебсайты, вот я тут это поминаю в 2003 году, по горячим следам -- https://ailev.livejournal.com/45 837.html). Плоские вебсайты выиграли подчистую, на VRML было сделано очень немного промышленных приложений, лидировала там https://ru.wikipedia.org/wiki/Parallel_Graphics.
-- середина нулевых прошла под знаком Second Life (я завёл там эккаунт в 2006 году, https://ailev.livejournal.com/430 280.html, когда ежедневно в онлайне там было 6−11тыс.человек) и там уже были не «вебсайты», а виртуальные миры «для встреч и совещаний». Хайп был невиданный, и на этой волне были попытки сделать и промышленные миры, одна из них -- OpenQwaq (вот я писал в 2011 году о закате этого проекта, https://ailev.livejournal.com/927 924.html). Победили для синхронной коллаборации 2D сервисы типа Google Doсs и Zoom (и сотни более маленьких таких же 2D). Оказалось, что общаться проще в общем чате или общем голосовом чате, а смотреть не на «доску в мире» под кривым углом, а на нормальный экран нормального приложения, в том числе и CAD-приложения, безо всякого «мира с вашим аватаром». Университеты и посольства ушли из Second Life, фирмы CAD/CAM/CAE тоже ушли, виртуальные миры остались только в играх. Опять «не шмогла», промышленных стандартов так и не появилось. Люди не пришли в виртуальный мир, им там нечего делать.
-- третья волна с виртуальными мирами появилась вот прямо сейчас, на базе переданного студией Pixar в open source стандарта USD (universal scene description, https://graphics.pixar.com/usd/docs/Introduction-to-USD.html). Ключевое тут -- из одного мира переходим к metaverse, так начали называть любую сеть виртуальных миров миры после романа «Лавина» Нила Стефенсона, https://en.wikipedia.org/wiki/Metaverse. Эдакий интернет виртуальных миров, как интернет был «сеть сетей», так и metaverse -- «мир миров».

И вот с этими USD metaverse начинаются две восхитительные истории:
-- хайп по поводу перехода игровиков от Zoomverse к metaverse (вот январский обзор этого движа, https://venturebeat.com/2021/01/29/the-deanbeat-our-360-degree-view-of-the-metaverse-ecosystem/). Неделю назад Epic Graphics объявила о целевом вложении $ 1млрд. в развитие metaverse, https://venturebeat.com/2021/04/16/the-deanbeat-a-big-bang-week-for-the-metaverse/ -- и эти деньги пойдут на движение не только в части игр, но и в части социальной сети, музыкальных сервисов и «искусственных людей».
-- NVIDIA объявляет о своём варианте metaverse: точном (миллиметры на сотнях метров) фотореалистичном с встроенным физическим движком промышленном Omniverse. И самое интересное тут -- что этот мир не только для людей, но и для роботов: одно из основных назначений мира -- имитационное моделирование физической среды для обучения искусственного интеллекта (роботов, автопилотируемых автомобилей, дронов и всего прочего). Если в Second Life хотели учить людей, то тут хотят учить AI-агентов. И ходить к ним в гости. Jensen Huang говорит, что «VR нужно, чтобы мы ходили в гости в мир AI-агентов, а AR нужна, чтобы агенты ходили в гости к нам в мир».

Вот про Omniverse подробней:
-- красочный свеженький видеообзор недельной давности: https://www.youtube.com/watch?v=JBB6DmuidCA, интервью Jensen Huang с некоторыми подробностями -- https://venturebeat.com/2021/04/17/jensen-huang-interview-from-the-grace-cpu-to-engineers-metaverse-of-the-omniverse/
-- словесное описание от профильного веб-ресурса по CAD: https://www.cadalyst.com/management/nvidia%E2%80%99s-omniverse-platform-game-changing-potential-large-scale-cad-78 607
-- вебсайт NVIDIA со всей технической и коммерческой информацией, а также возможностью взять open beta версию: https://developer.nvidia.com/nvidia-omniverse-platform

Я бы не хотел тут повторять то, что говорит Jensen Huang, но подчеркну несколько интересных моментов:

Omniverse сходу заявляется не для людей (вернее, «и для людей тоже»).
Не-людей много больше, чем людей. Если вы занимаетесь эволюцией или дрессировкой (reinforcement learning), вам нужно учить и давать место для жизни (в эволюции агент должен пожить в мире, чтобы показать свою жизнеспособность). Вы должны иметь мир, в котором:
-- фотореалистичность. Она требует диких вычислительные ресурсов для ray tracing -- и желательно, быстрее чем real time, проживать искусственную жизнь нужно быстрее реальной, чтобы успеть попользоваться результатами эволюции или reinforcement learning в реальном мире!
-- физичность (движок мультифизики, механика тут только самое начало. Смотри материалы по digital twins и соответствующие вычислительные проблемы: https://ailev.livejournal.com/1 549 559.html). Точное физическое моделирование в быстрее чем реальном масштабе времени -- это тоже требует диких вычислительных ресурсов. Вот поглядите, как Omniverse справляется с физическим моделированием: https://www.youtube.com/watch?v=7ozs5EsvVGE
-- идёт мышление (см. предложения терминологии в https://ailev.livejournal.com/1 548 229.html -- познание как обучение/supervised learning и исследование/self-supervised learning, а ещё прикладное вычисление/мышление). Современные нейронные сетки у агентов AI тот же Jensen Huang ожидает в ближайшее время со 100трлн. параметров, и уже есть обученная Microsoft сетка на 30 трлн. параметров (19 апреля, https://www.microsoft.com/en-us/research/blog/zero-infinity-and-deepspeed-unlocking-unprecedented-model-scale-for-deep-learning-training/ -- ZeRO-Infinity can fit models with tens and even hundreds of trillions of parameters for training on current generation GPU clusters).
-- чтобы получить полезные результаты, передаваемые в реальный мир, нужно распарралелить миры: иметь domain randomization (пробовать разные небольшие отклонения в параметрах мира), задействовать эволюцию со множеством агентов, параллельно пробовать разные ситуации. И тут нет предела требуемым вычислительным ресурсам.

По факту, до появления GPU о таком использовании виртуальных миров и говорить было нельзя: это были бы благие пожелания. Сейчас это всё реально, и Jensen Huang просто делает традиционный предпринимательский ход (см. эту стратегию подробней на примере роботакси, я описывал её в 2017 https://ailev.livejournal.com/1 384 766.html): он делает полный технологический стек, закрывая свою аппаратуру прикладным софтом (часто -- бесплатным), подсказывая потребителям технологии, как удобно пользоваться предлагаемой им аппаратурой. Есть полно всяких софтов AI gyms -- миров по типу Open AI Gym для reinforcement learning https://gym.openai.com/, например NLP Gym https://arxiv.org/abs/2011.8 272, compiler gym https://pypi.org/project/compiler-gym/ и так далее. Omniverse даёт в качестве gym (гимнастического зала для AI-агентов) полноценный фотореалистичный и физичный мир, да ещё и на той же вычислительной инфраструктуре, на какой живёт, учится и работает сам AI-агент, или даже сообщество AI-агентов, да ещё и приходящие к ним в гости в виде аватар люди.

Вот, например, BMW Group решила воссоздать в Omniverse все свои автомобильные заводы (часть моделей взяв из Catia, часть отсканировав в PointCloud). Поглядите на это чудо: https://www.youtube.com/watch?v=6-DaWgg4zF8. В этом ролике значительная часть посвящена тому, что digital twin всего завода, проходя модификации в рамках domain randomisation (цвета, освещение, положение предметов) используется для обучения автопилотируемых роботов-тележек. По этому же пути предлагается создавать в Omniverse цифровые двойники городов, чтобы учить и испытывать там нейросетки роботакси.

По факту NVIDIA предлагает Omniverse Create (мир общего назначения), Isaac Sim™ (gym для робота Isaac) и DRIVE Sim™ (мир для роботакси DRIVE).

Omniverse как инструмент моделирования в традиционном (без AI) проектировании
Моделирование как для традиционных «роликов» сооружения (4D в строительстве), так и эргономики (в том же видео от BMW это чётко демонстрируется: отладка эргономики автомобильного завода с рабочих мест разработчиков в разных офисах). Это всё традиционные digital twins с моделированием.

Самое интересное из уже имеющегося -- это инструменты iTwin от Bentley https://www.bentley.com/en/products/product-line/digital-twins/itwin в их интеграции с Omniverse (вот видео про это -- https://www.youtube.com/watch?v=TNAKrOgd3Pg). Bentley подсуетилась и стала первой сторонней CAD-компанией, которая разрабатывает набор самых разных приложений для платформы Omniverse. До Bentley эти приложения разрабатывала сама NVIDIA, и это была не столько «платформа», сколько «набор приложений NVIDIA и коннекторы для других фирм». А потом эти приложения стали разрабатывать кроме Bentley и многие другие (Foster+ Partners, Industrial Light and Magic, WPP, BMW Group, ECMF, Ericsson, Activision, и т. д. -- почитать о ранних применениях можно в https://nvidianews.nvidia.com/news/nvidia-launches-omniverse-design-collaboration-and-simulation-platform-for-enterprises, а более-менее список партнёров можно найти на https://www.nvidia.com/en-us/omniverse/).

Коннекторов к CAD и 3D софту Omniverse уже множество (смотреть их вот тут: https://docs.omniverse.nvidia.com/con_connect/con_connect/overview.html): Maya, 3ds Max, Blender, Unreal Engine 4, Revit, Rhino, ScketchUp, ArchiCAD, Houdini, ParaView, Character Creator. Но множество есть и других, хотя официально они и не объявлены (скажем, BMW Group в своём ролике говорит, что используют CATIA. А на странице Omniverse для машиностроения обещают скоро и Solidworks, и PTC OnShape -- https://www.nvidia.com/en-us/omniverse/manufacturing/, а для CAE в строительстве смотреть в https://www.nvidia.com/en-us/omniverse/architecture-engineering-construction/).

Что подчёркивается в Omniverse во всём этом разнообразии приложений для проектирования -- так это возможно коллаборации. И возможность зайти компанией в выбранный мир и погулять там, посмотреть на всё в натуральную или ненатуральную величину «изнутри». Фотореалистично и физично. От zoomverse перейти к metaverse, в данном случае Omniverse.

Jensen Huang при этом в своём интервью говорит об использовании Omniverse и в играх, при этом говоря, что качество дизайна игровых объектов будет не уступать качеству дизайна реальных предметов. Можно сколько угодно усмехаться, но помним про хайп монетизации NFT для художественных цифровых объектов -- и прячем усмешку. Помните торговлю арт-объектами в Second Life, как всё там начиналось? С тех пор научились торговать цифровым искусством через блокчейн, и там тоже очень бодро -- https://www.theverge.com/22 310 188/nft-explainer-what-is-blockchain-crypto-art-faq, https://rg.ru/2021/04/26/iskusstvo-pikselej-kak-nft-tokeny-zahvatili-art-rynok.html.

И что дальше?
Дальше Omniverse для личного употребления осенью выходит из беты (но скачать бесплатно можно уже сейчас,, а корпоративная версия is available on a subscription basis and includes NVIDIA’s enterprise support services. NVIDIA’s partner network of leading computer makers — including ASUS, BOXX Technologies, Cisco, Dell Technologies, HP, Lenovo and Supermicro — are supporting NVIDIA Omniverse Enterprise.

Материалов до чёртиков, выглядит это более чем красиво -- но надежда в том, что жить в этих мирах будут таки не люди, и поэтому третья весна виртуальных миров в промышленности и для AI будет развиваться в той мере, в какой будет развиваться AI.

Сейчас вполне себе лето AI, и мне не кажется, что оно кончится. Так и про естественный интеллект можно сказать, что там зимы-вёсны, но спрос на мозги ведь есть всегда. То, что мозги эти бывают и на традиционной электронике, и ожидаются квантовые, ничего не меняет. Мозгов никогда не бывает много, реалистичное моделирование тоже нужно в количестве. Так что я ожидаю и с виртуальным фотореалистичным и физичным миром тоже будет лето. Другое дело, что там необязательно будет именно Omniverse, но шанс, что у Omniverse будет огромная начальная доля в metaverse на основе протокола USD -- большой. Как у первых интернет-провайдеров, у первых миропровайдеров все шансы на коммерческий успех. Роботы, которые будут жить и плодиться в этих мирах, смогут оценить их по достоинству. А люди будут приходить к ним в гости, а иногда приглашать через augmented reality в свой убогий мир, тоже фотореалистичный и физичный, но без domain randomization и неизменным real time.

Но «провайдер миров» -- хорошо ведь звучит! И ещё «во-первых, это красиво». И с падением стоимости вычислительной мощности и ростом конкуренции на реализацию стандарта USD будет стоить дешевле грибов.

На картинке цифровой двойник автомобильного завода BMW AG Production в Omniverse (по факту это кадр из видео -- https://www.youtube.com/watch?v=6-DaWgg4zF8, вся эта фотореалистичность с бликами на автомобилях вполне в реальном времени):

UPDATE: обсуждение в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10 220 935 898 081 248