Начал шестую переписку "Системного мышления", с кейсами в версии 2020 года 518 страниц A4: завёл файл, сделал первую ритуальную правку (заменил год 2020 на 2021 в названии). У меня планы обойтись минимальным количеством изменений основного текста (я им более-менее доволен на сегодняшний день), но нужно сделать следующее:
-- привести в соответствие с онтологией интеллекта и мышления, а также разбивкой на мыслительные практики интеллект-стека, которые я дал в "Образовании для образованных 2021" (по большому счёту, это главное: жизнь поменялось, понимание поменялось, нужно обновляться). Чуток там и терминологию подправить (скажем, "труд" вместо "деятельности" звучит сильно получше).
-- чётче прописать про целевую систему, что её нахождение -- это предпринимательство, и никакого алгоритма быть не может. Это уже написано, но запросы на "покажите алгоритм" идут, надо ПРОПИСАТЬ ПЯТЬ РАЗ В ТЕКСТЕ, ЧТОБЫ ХОТЬ ОДИН РАЗ ЗАМЕТИЛИ: АЛГОРИТМА НАХОЖДЕНИЯ ЦЕЛЕВОЙ СИСТЕМЫ НЕ БЫВАЕТ, ЭТО ПРЕДПРИНИМАТЕЛЬСТВО! (ага, ещё и капслоком, и в рамочку -- не слышат, не читают, не замечают, игнорируют. Надо как-то пробиться).
-- доразобраться с терминологией. Первые тут кандидаты -- интерес и потребность (ибо значения далеки от бытовых, студенты путаются сильно, последняя путаница вот только что в чате произошла с https://t.me/systemsthinking_course/15729, а проблема поднималась ещё в сентябре 2020 -- первый абзац в https://ailev.livejournal.com/1538265.html как раз про concern).
-- digital twins (хотя это больше системная инженерия, но само понятие таки нужно добавить в мышление -- ибо это общее для всех систем, включая и обеспечение, и окружение и так далее, digital twin network и digital engineering), и экономическое рассмотрение в том числе от них идёт, вот: https://ailev.livejournal.com/1570630.html.
-- вот тут длинный списочек -- https://ailev.livejournal.com/1565649.html
-- в том числе в том длинном списочке и про 4D паттерны, то есть ритмику, и про уточнение модели танца. А я ещё хочу добавить в модель танца как пример три view на нескольких масштабах/scales времени: общее движение, собственно танец и музыка с её ритмикой. Заодно это же упражнение в моделировании должно показать как-то работу с решётками/lattice, а не стеками -- то есть более честную и производственную, а не в целях образования, работу с онтологиями, нежели "стеки практик", которыми мы увлекаемся в последнее время. Но вот это чистое исследование, мысли на эту тему есть, а модели ещё нет.
-- UPDATE: и ещё материал по active inference: про внешнее-внутреннее и границу (и также системы неживые, живые и с интеллектом в этой связи. И системный подход и кибернетика в варианте Варелы-Матураны с их автопоэзисом, тут тоже по линии active inference нужно пересмотреть)
-- надо ещё поглядеть, что писалось у меня в блоге за последний год с момента прошлой переписки.
-- и, конечно, упражнения в онлайн-курс на моделирование в SysMoLan (таблички, скорее всего это будет сразу в coda.io)
Видео недавней панели по open-endedness: https://www.youtube.com/watch?v=hr_7SLG3GDA. Kenneth Stanley с другими исследователями ругают reinforcement learning и neural network, подчёркивают недоизученность алгоритмов эволюции и влияния мира такого, каков он есть (среды для агентов) на бесконечное развитие. Проблема не столько в отсутствии вычислительных ресурсов по сравнению с реальным миром и реальной эволюцией, но именно в непонимании алгоритмики эволюции и свойств вселенной, которая вдруг ухитрилась сделать эту эволюцию. А ещё появился интеллект, и сшиб все карты -- но важно понимать, что до интеллекта, до нейронных сетей с эволюцией всё тоже было в порядке, она происходила. Саму open-endedness Stanley понимает как continual generation of artifactics that are interesting to us without bound forever). При этом система сама должна учиться, ибо мы вряд ли сможем дать какой-то отклик на обстоятельства этой бесконечно развивающейся системы в ходе обучения, эти обстоятельства/проблемы же будут для нас новыми! А сама система тоже никогда не сможет адаптироваться и генерализовать описание мира существенно, ибо мир-то всё время новый! Проблема в том, что миры для open-endedness и алгоритмы сейчас небогаты, и мы не видим чего-то такого, чего мы бы не могли предвидеть (все эти "прятки агентов" и EnhancedPOET и прочие демонстрации). Но бесконечное развитие нам нужно как раз для того, чтобы появилось что-то такое, что мы не могли бы предвидеть! Stanley говорит, что мы вроде как вышли на плато с нынешними системами, и дело не в том, что у эволюции миллиарды лет, а текущие системы имеют очень небольшое вычислительное время, а в том, что эти системы выходят на "потолок в развитии". Все они там призывают иметь среды посложней и цели (в отличие от reinforcement learning с его наградами) поразнообразней. Environment design is basically like completely virgin territory, because no experts on this, no study, no theory, nobody knows anything about this.
Microsoft и NVIDIA натренировали языковую модель MT-NLG на 0.53 триллиона параметров (x3 по сравнению с подобными текущими моделями, прежде всего GPT-3 на 0.175 триллиона параметров). В этой сетке 105 слоёв на базе трансформер-архитектуры -- https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/. Сетка, конечно, выдаёт SoTA по большинству моделей (zero-, one-, few-shot) в самых разных задачах, но текст содержит оговорки -- что там насколько улучшилось, не очень понятно. И, конечно, стандартные заявления про bias, суть которых сводится к "модель научена на знаниях человечества, а эти знания уже biased, и мы работаем над тем, как исправить эту проблему". Грубо говоря, "учиться на опыте человечества нельзя, а нужно заиметь опыт, которого у человечества ещё не было. Мы работаем над этим". Если поглядеть на то, что обсуждают ребята из абзаца наверху в части "предпочтение иметь решения, которые поднимают больше вопросов, чем дают ответов", и сравнить с тем, что пишет по поводу SoTA-ориентации в физике David Deutsch ("And let me add a methodological point: Framing research in terms of increasing a number, such as Q_plasma or Q_total, rewards incremental-type research and penalises more fundamental, idea-based research. If this problem is to be solved, it will be solved by ideas. Q will follow. Perhaps discontinuously. Perhaps going down before it goes up", https://twitter.com/DavidDeutschOxf/status/1445488874587758592), то становится понятно, что нужно ожидать чего-то более интересного, чем рост размеров языковой модели. Опять же, Pearl задаёт всё время вопрос, каким образом эти языковые модели хоть как-то помогают строить объяснения (вторая и тем более третья ступенька в causality ladder). Намёк в тексте, что эта сетка рассуждает чуть лучше, чем можно было бы от нейронной сетки ожидать, есть -- но претензии к языковым моделям на нейронных сетях отнюдь не в слабости их логики! Тем не менее, пока эти сетки -- самая умная нежить, которую смогло придумать человечество. В статье утверждается, что с ростом числа параметров качество моделей продолжает расти, и конца этому не видно, но вот этот "прирост качества" оказывается слишком количественным, и количество как-то не очень переходит пока в качество. Впрочем, никто не знает, куда эти огромные нейросетки придут "сбоку" и что они там драматически изменят.
Новое пришествие социализма в wokeism и cancel culture обсуждается через разницу слов equality и equity -- equality это равные шансы для всех, а equity -- это когда "каждому по потребностям". Вот восхитительная история про MIT, который запретил лекцию профессору, выступившему за приём в вуз на основании входных тестов (equality), а надо-то по квотам для разных меньшинств -- кто поглупее оказался, так тех и принимать (equity), вот: https://www.dailymail.co.uk/news/article-10079719/Thousands-register-remote-lecture-Princeton-MIT-axed-outraging-Twitter-mob.html. И красивая картинка от социалистов, чтобы вы не ошиблись в выборе, "голосуйте сердцем!":
Источник: https://ailev.livejournal.com/1587254.html
UPDATE: дискуссия в https://www.facebook.com/ailevenchuk/posts/10221828366952412