Предсказуемость как важнейшая архитектурная характеристика

Потихоньку пишу учебник "Системный менеджмент", и думаю над применимостью некоторых безмасштабных принципов к организациям. Например, снятие неопределённости по отклику от среды (минимизация непредсказуемости) как важная архитектурная характеристика, которой следует добиваться. Об этом, конечно, все пишут, но не как о важной архитектурной характеристике, основанной на фундаментальном (физическом!) принципе, а как о чём-то вторичном, типа "заодно у вас и предсказуемость поднимется, это вам будет полезно". Это не просто "заодно", а ровно это и будет "полезно": это же реализация принципа минимизации свободной энергии (шенноновской, информационной, а не механической! Слово "энергия" тут ни разу не "похоже на механическую или эклектрическую энергию". Не похоже!).

Скажем, в The Book of TameFlow есть раздел The Quest for Stability and Predictability, много отсылок идёт на книгу Daniel S. Vacanti, “Actionable Agile Metrics for Predictability, An Introduction”. Stability -- это часто robustness (хотя это и не звучит как -ilities, но по-русски устойчивость всё одно "ость", архитектурная характеристика). А вот predictability не является какой-то часто обсуждаемой именно архитектурной характеристикой, а зря.

Скажем, мы хотим делать систему управления -- и идём читать труды John Doyle, https://ailev.livejournal.com/1622346.html. Первое, что мы там находим -- это многоуровневая посылка управляющего сигнала сразу в два места: на актуатор соответствующего уровня и в систему управления вышестоящего уровня. Для чего? Для того, чтобы более медленная и грубая система вышестоящего уровня сориентировалась в предсказании происходящего раньше, чем отработал актуатор более низкого уровня и учла в выдаче своего сигнала не только данные с датчиков, но и данные того управления, которое было послано на актуаторы.

Перевожу на менеджерский: если ты поручил своим сотрудникам что-то в рамках большого проекта, то копию этого поручения неплохо бы послать другим управленцам -- чтобы они учитывали не текущую ситуацию, а ситуацию с учётом будущего исполнения твоего поручения. Ибо если ты пошлёшь только репорт о результатах, то будет уже поздно что-то учитывать и корректировать чьи-то планы. А так есть шанс учесть результаты твоего действия ещё до того момента, когда они реально произойдут. Спланировал -- выдай команду (не надо "согласовывать", это медленно! continuous delivery, бери ответственность и действуй), но информируй о запланированном -- и люди вокруг подстроятся. Докладывать только о результатах действий нельзя, это слишком поздно!

Пример из парных танцев: самые опытные фолловеры (там ведение-следование: лидер и фолловер) слушают тактильно не движение тела лидера и дальше за ним следуют, а слушают мясо лидера (движение мышц лидера), ибо мышцы внутри тела начинают работать чуть-чуть раньше, чем движется тело лидера. И когда тело лидера наконец-то через полсекунды начинает двигаться от этого напряжения мышц, фолловер уже разогнал своё тело для движения примерно в том направлении, которое он определил по мышечной работе лидера ещё полсекунды назад. В итоге появляется эффект "предвосхищения движения".

Так что неопределённость снижаем, в том числе учитывая и свои действия, и отклики окружающей среды, и ещё и постоянно "зондируя" окружение в попытках определить что из происходящего результат твоих действий, а что прилетает независимо от тебя: где кончаешься ты со своими потугами, а где начинается мир, которому твои потуги нипочём, ибо Вселенная очень и очень велика и твоё влияние ограничено. И всё это системно, то есть многоуровнево по отношению часть-целое.

Так что в работе организации уменьшение неопределённости в оценке ситуации важнейшая характеристика, и она вроде как применима на всех уровнях и масштабах (организация из людей и компьютеров -- это только один из системных уровней, только один из масштабов), это универсальный физический принцип. Физический -- это в том числе и информационный, современная физика вполне себе про информацию, я это неоднократно обсуждал в блоге (сошлюсь тут на работы хотя бы Криса Филдса со товарищи, в том числе про физическую информационную природу active inference: https://chrisfieldsresearch.com/, но это уже mainstream -- от космологии с её чёрными дырами до квантовой физики с её фотонами и спинами).

Очередное мощное подтверждение этого принципа "всё живое, полуживое и даже неживое пытается уменьшить неопределённость в предсказании" пришло из опубликованной вечра работы "In vitro neurons learn and exhibit sentience when embodied in a simulated game-world", https://www.cell.com/neuron/fulltext/S0896-6273(22)00806-6. На подложку с электродами положили кусок мозга, выращенный из живых нейронов (порядка 800 тыс. нейронов -- работало и с мышиными нейронами, и с человеческими), назвали это DishBrain. Решили учить DishBrain играть в Pong. Проблемы с тем, чтобы подать сигналы входные (где находится мячик в каждый момент времени, чтобы можно было предсказать куда он летит) и выходные (куда двигать ракетку, чтобы отбить мячик) не было. Проблема в том, что нету дофаминовой системы, то есть непонятно, как дать награду. И вот тут "открытие на кончике пера": если правда, что такая система уменьшает непредсказуемость на входе (в восприятии мира: "мир соответствует ожиданиям"), то можно давать непредсказуемый сигнал на дополнительный вход как "антинаграду" (то есть пошуметь на входе) и предсказуемый (постоянный, а не шум) как награду. Эти входы-выходы по факту означают, что система получила свойство телесности: ей имитировали какое-то тело, действующее в игровом мире Pong, то есть дали глазки-ушки и ручки-ножки (уж какие в этом мире они есть, embodiment это ж абстракция, у David Deutsch довольно много про виртуальные миры было написано, равно как довольно много было написано и в материалах группы Аттик, все эти "миры робота" и "миры водолея" в системе КуМир школьного алгоритмического языка. Всё это про embodiment). И система должна научиться избегать непредсказуемости, как-то сама сорганизоваться. В эксперименте на это потребовалось 5 минут: живые нейроны научились избегать непредсказуемого сигнала, двигая ракетку в Pong. Всё заработало в соответствии с теорией.

Напомню, что теория гласит, что всё живое, полуживое и неживое, но устойчивое хоть как-то (скажем, молекула, которая не размазывается по миру тысячи лет, или человек, который не размазывается по миру восемьдесят лет) минимизирует свободную энергию (шенноновскую свободную энергию! это информационная характеристика, хотя она и вполне физична). Это высказывание безмасштабно, а для какого-нибудь масштаба побольше молекулы или одного нейрона наблюдаемый predictive coding -- это просто следствие.

Пару лет назад я сказал Александру Вяткину, который раз в квартал педантично докладывал у нас на методсовете про этот самый active/embodied inference: у метода есть единственное сильное преимущество перед всяческими вариантами reinforcement learning. Вроде как active inference должен работать, когда принципиально нельзя придумать награду -- и это очень круто. Награды нет, RL не работает, а ActInf работает. И я согласился затем войти в advisory board Active Inference Institute (https://www.activeinference.org/). В DishBrain ровно это преимущество и было продемонстрировано: награды нет, но общая схема RL есть с "универсальным подкреплением -- предсказуемостью", так что DishBrain в Pong играет. Если мячик отбивается ракеткой, то в мире всё спокойно, если не отбивается, то в мире творится чёрт знает что, поэтому давай как-нибудь делать так, чтобы всё было спокойно. И даже если мозгов нет, а всего 800 тыс. случайно провязанных между собой нейронов, они за пять минут научаются делать так, что всё становится спокойно.

Интересно, сколько квинтиллионов или секстиллионов нейронов нужно, чтобы спокойно было настолько, чтобы ни один астероид не потревожил этот DishBrain-на-стероидах (DishBrain версии 42.0). Если принять безмасштабность, то жизнь на земле как раз примерно так и организована. Эксперимент по изменению орбиты астероида уже проведён, изменение орбиты астероида уже не случай из антологии научной фантастики, а случай из истории инженерии: всё сработало уже, компьютер-человечество работает, снижает неопределённость будущего -- https://www.cnn.com/2022/10/11/world/nasa-dart-success-update-scn/index.html. Немного другими словами, с другой математикой, но про эту особенность мира-как-нейронной сети читаем и в работах Ванчурина со товарищи, начиная с https://www.pnas.org/doi/10.1073/pnas.2120037119.

Об этом результате DishBrain рассказал и Марк Свиткин вот тут: https://www.facebook.com/mark.svitkin/posts/pfbid0ZkQwBgnCpaQGEkPwsm2hCD8LGswDdh2RY1fPBFSVUeCDDEMbmw9vzUjDjnNgdQZEl. И получил кучу к нему вопросов -- вопросов, на которые подробненько отвечает статья, она ж для этого написана! Нет, вопросы почему-то были к Марку. Я удивился, откуда такое желание получить бесплатное информационное обслуживание у Марка, почему не соблюдается обычный протокол: "1. Если что непонятно по комментируемому тексту, то сначала читай текст, потом задавай вопросы. Задавать вопросы, ответы на которые есть в тексте -- это крайне невежливо, это расписываться в том, что читать не умеешь. 2. Если в тексте что-то непонятно, то раньше рекомендовали читать литературу, помянутую в тексте, если и она непонятна, то литературу для этой литературы и т.д. -- пока не поймёшь статью. Через некоторое время такой практики окажется, что "всё понятно". Сегодня можно добавить к этому ещё и гугль. Неприлично задавать вопросы живому человеку, отнимать у него время для ответа вам, если ты сначала не озаботился своей грамотностью, а затем не спросил робота. И только теперь 3. Можно спросить человека, разговор будет хоть как-то осмыслен". Дальше был вопрос, а что это я учу окружающих людей жить? Мой ответ: я препод, поэтому учу не только "науке" (как по-разному бывает в мире и как это можно описывать), но и "нормативной науке" (как и что надо делать, чтобы стало лучше, "надо" -- это и есть нормативность, деонтическая модальность), то есть учу SoTA практикам улучшения мира. Так что да, я учу окружающих людей жить.

Это и есть фронтир: синтетический биологический интеллект (synthetic biological intelligence -- добавляем к квантовым, оптическим, традиционным электронным, электронным на резистивной памяти и т.д. нейронным архитектурам обычные мозги-из-пробирки), безмасштабные описания приносящего разные сюрпризы мира, необходимость embodied/active inference и умение виртуализовать мир и т.д. Вот на этом фронтире и работаем, ему и учим -- даже в курсе менеджмента, где эти нейроны уже собраны в мозги, мозги собраны в коллективы мозгов при посредстве тех же самых компьютеров. А принципы? А принципы те же: чтобы изменчивый окружающий мир не принёс нам неожиданных ощущений, одно из которых "меня, кажется, уже доедают". Предсказуемость -- это важнейшая архитектурная характеристика.

Дальше я спою вам в очередной раз свою короткую песенку про усиление интеллекта при помощи нашей учебной программы: прохождение нашей учебной программы "Бесконечное развитие" уменьшит сюрпризы в восприятии вас и окружения. Вы будете понимать происходящее хотя бы на уровне мета-мета-модели (а это уже ого-го как понимать!) и реагировать соответственно, заранее изменяя себя и/или мир вокруг вас, чтобы избежать негативного сюрприза. Это самый-самый базовый принцип, мы именно его и реализуем, и это работает для всех наших студентов, проверено. Например, курс "Системный менеджмент" даст вам возможность прийти в полностью неизвестную вам организацию, но поскольку у вас в голове уже будет её мета-мета-модель, то происходящее не будет вам казаться непонятным шумом. И вы успеете что-то сделать до того момента, как Вселенная с её растущей энтропией попытается неприятно удивить вас и/или вашу организацию, в которую вы только-только пришли.

На картинке схема получения и использования DishBrain из поминаемой в тексте статьи. По типу это hybrot, A hybrot (short for "hybrid robot") is a cybernetic organism in the form of a robot controlled by a computer consisting of both electronic and biological elements. What separates a hybrot from a cyborg is that the latter term is commonly used to refer to a cybernetically enhanced human or animal; while a hybrot is an entirely new type of creature constructed from organic and artificial materials. It is perhaps helpful to think of the hybrot as "semi-living", a term also used by the hybrot's inventors. https://en.wikipedia.org/wiki/Hybrot: