Завтра и послезавтра выступаю на нашей конференции (программа в https://ailev.livejournal.com/1682056.html, 26 докладчиков и 27 докладов всего) с двумя короткими докладами. Вот слайды:
-- программа "Системный менеджмент и инженерия", https://disk.yandex.ru/i/bWwdLUyirzKciQ. Долго вышивал крестиком новые слайды, ничего особо нового там нет, просто аккуратно собрано в одном месте и чуть по-новому представлено. Скажем, чуть-по новому объясняю порядок курсов: Сначала онтологика (учишься читать) и собранность (учишься ещё и писать), затем системное мышление (учишься думать), потом методология (учишься думать о том, как делать), потом системная инженерия (учишься делать), потом системный менеджмент (учишься делать в коллективе). Второй год — учишься делать себя, делать коллективы, делать сообщества. По большому счёту, знаний уже хватает, чтобы менять себя, других людей и компьютеры (три объекта изменения отдельных объектов, используя этичную риторику aka prompt engineering), а также их разные коллективы и сообщества. Это полноценная инженерия личности, и не только личности, но и всего того, где есть люди и AI. Третий год — выход на фронтир. Вот тут понимание интеллект-стека, как устроено образование для образованных, возможность самому сделать курс по тому, что нарыто на фронтире и т.д.
-- стратегия ШСМ в сфере AI, https://disk.yandex.ru/i/odHYnzuaD2AaZA. Там, конечно, гипотеза на гипотезе, но стратегия-фильтр у нас какая-то есть, и мы ей потихоньку следуем, а также регулярно обновляем.
Вот, насладитесь из первой презентации слайдом про то, чему мы учим. В нём я решил показать не традиционные практики ("учим методам/способам работы"), а дать то же самое в терминах ролей ("учим исполнять роли"):
Поговорили про "собаку ЛеКуна против моей собаки" в комментах к https://t.me/lovedeathtransformers/5829 (очень там удачная шутка, в которой лишь небольшая доля шутки. Я даже вставил её в презентацию по нашей AI-стратегии). Я там ставлю не вопрос LeCun на "повторите хотя бы собаку", а напоминаю про challenge ARC от Chollet (https://lab42.global/arc/core-knowledge/ и ещё пузомерка на это дело: https://lab42.global/arcathon/leaderboard/), где современные архитектуры AI показывают удивительно низкие результаты, при этом речь идёт о доязыковом уровне. А дальше обсуждаю собственно языковый уровень. Если брать язык теории автоматов (который когда-то был взят в нейролингвистическое программирование, я писал об этом ещё в 2009 году, https://ailev.livejournal.com/649230.html), то даже с учётом "пассивного восприятия" (что сегодня проблематизировано в active inference) можно выделить прямой доступ (фотоны, давления на датчиках), первый доступ (информация с датчиков, перекодированная с какими-то потерями в понятный для обработки формат, ещё до языка), и я бы выделил второй доступ (языковое перекодирование первого доступа). И далее вопрос: до того, как поднялся вой с alignment и всё потонуло в климатической астероидной враждебного AI опасности, появилась краткая заметка, что GPT-4 с мультимедиа ожидалось, что будет справляться со многими задачами лучше, чем GPT-4 чисто текстовая. Но оказалось, что это не так: текстовая модель (грубо говоря, работавшая только со вторым доступом, а не первым и тем более не с прямым) оказалась не хуже. Это означает, что надо серьёзно озаботиться всякими 4E теориями, ибо одно дело теории разводить про "необходимость", а другое дело -- вот оно, экспериментальное подтверждение, что вся эта "необходимость" оказывается не главным. Собственно, цифровое накопление знаний появилось в генокоде, потом в виде речи в мозгах, потом в виде письменной речи, а теперь вообще странный формат -- в виде LLM (те же мозги, только характеристики интересней). Я бы в эту точку бил: что там с нейросемиотикой, которая разговоры о видео и аудио делает примерно так же эффективными, как и сами видео и аудио в их натуральном выражении. В комментах я разные гипотезы высказываю на этот счёт, но всё одно это крайне важно. Так, в Aisystant мы исходя из этого пока не будем особо заботиться о картинках и видео, и надеемся, что это не сильно обвалит качество, но сервис сделает сильно дешевле. И выводы для образования: ощутимо умнее на видео и ощупь не станешь, нужны знания мире, и их проще получать текстом, а не наблюдениями. Непосредственные наблюдения оказывается идут фтопку, это "иллюстрации", а не "важнейший элемент обучения". А собственно обучение идёт по факту на уровень выше, чем аудио-видео с его первым доступом. Выигрывает часть человечества, создающая обучающие текстовые датасеты. Не кино, не подкасты. Толстые книжки и статьи - да, кино и манги - нет. И читающие дети - да, будут умнеть, а насмотренные аниме - нет, ибо там маловато текстов в общем объеме восприятия, скорость получения учебного материала мала, обучение неэффективно. Грубо говоря, что в десятке книжек можно успеть прочесть, за это же время не увидишь в кино, не высмотришь в манге, а времени вроде как столько же. Видеотокены возможны, но оказываются для умности по большому счёту бесполезными. Поэтому современные детки будут опираться в умности на компьютеры, а сами -- того, дурковаты будут по сравнению с детками предыдущих поколений. Интересный такой эволюционный поворот. Но это неточно. Это всё гипотезы. Проблема в том, что эта интереснейшая тема эволюционного разворота "от густых текстов к видеожвачке и итоговое относительное поглупение людей" не обсуждается (обсуждается психологами на уровне размахивания руками, а вот с экспериментами для нейросеток с достаточно высоким уровнем интеллекта -- вот только с GPT-4 отдельные замечания), а обсуждается баттлерианский джихад. Но нет, я не призываю немедленно ввести госрегулирование и вырубить обучение-на-комиксах, а также видеоигры-вместо-чтения-книжек. Там ещё много интересного по линии мелкой моторики и умности можно будет найти, и вообще по этой теме на многое что выйти. Но только не надо госрегулирования, надо разобраться. А дальше каждый сам определится, что ему делать. Если, конечно, хватит ума. С этим "хватит ума" в последнее время как-то туго. При этом нейросети, очевидно, умнеют. А вот сами отдельные люди -- что-то непохоже, и посылок к этому пока не предвидится.
Cделал коммент к посту Алексея Каптерева с критикой психотерапии: https://www.facebook.com/kapterev/posts/pfbid0fZYRJEfdrxVoNWMbhtdrXjdc6xYVHXEiYBia9V2vhCeFW5PC9JLtA65xfE2BaZ9zl. В обсуждениях психотерапии мы ещё не касаемся вопроса, что психотерапия -- это таки терапия, по-инженерному всегда ремонт, доведение до нормы. А вот модернизация, развитие -- и всё вдруг сыпется с аргументацией, ибо норма неизвестна, а когда first in a kind, то этой нормы никто ещё и не видел в мире, и это ни разу не терапия, но вполне себе нейролингвистические (даже нейросемиотические, ибо много ж модальностей и таки нейросетка, и слово становится опять модным) интервенции. Ну, или никакого развития личности, только прокрустово ложе терапевтического приведения к норме -- что переросло норму, то отрубим (и не будем интересоваться, как оно выросло), а что недоросло -- вытащим. В мире нейросеток сейчас ежедневно поминают "старое NLP". Весь этот prompt engineering оказался как раз тем самым нейролингвистическим программированием, где нейросетка это "новый CPU", и его надо программировать. И уже появились первые работы по психотерапии больших языковых моделей. Так что это на людях не останавливается. Я обсуждал это всё в комментах разных каналов, редко в самих постах. Например, вот https://t.me/lovedeathtransformers/5790 сходу (это 13 апреля из того, на что я подписан и нашлось поиском). В самих чатах каналов поиска нет, а в других местах я пока никак. Я как-то отслеживаю эту тему сам, но пока не так много пишу. С другой стороны, вот только сегодня утром много писали про нулевой доступ, первый доступ и разницу в обучении на разных модальностях (тексты безоговорочно побеждают все остальные модальности, а это вроде второй доступ), и далее всё привычное для "старого нэлпера". Во предыдущем абзаце текущего поста я как раз привожу в пример дискуссию к https://t.me/lovedeathtransformers/5829 из того же канала, я там эти темы обсуждаю и даже ссылку даю на мой текст 2009 года, где я цитирую "Шёпот на ветру". Скажем, автор https://t.me/gonzo_ML Гриша Сапунов -- NLP-мастер, и мы с ним обсуждали это "второе пришествие старого NLP" в комментах к его чату, вот найти только в этих комментах сложно. В мире много таких людей с подзабытым образованием, и они его активно сейчас используют. Фишка тут в том, что по сравнению со временами расцвета "старого NLP" произошло два события: изменилось существенно системное мышление, и можно много чётче разговаривать на базе онтологии системного подхода, уже третьего поколения, а не первого, как у Бейтсона и далее Гриндера и Бэндлера. И второе -- появились компьютерные LLM и вот прямо сейчас MLLM (multimodal), и оказалось, что они в общении ну ровно то же самое, что люди, и с ними нужна риторика, то есть prompt engineering. И главное там -- роли, контексты, позиции восприятия и т.д. (материал системного мышления). То есть мои курсы оказались по факту включающими материалы для взаимодействия с AI, а не только с другими людьми, и я ехидно добавляю: и с собой тоже, поглядите в зеркало, вы такая же нейросетка. Это для многих прямо открытие, да. И без слов "бессознательное", хватает для этого нового словаря. Всё очень быстро развивается, но мы долго готовились к этому. AI-чат с донастройкой на предметные области у нас уже работает почти месяц как, ведём разные эксперименты. Но студенты уже используют его как поисковую систему (там GPT-3.5 турбо пока, это глуповатый вариант, чтобы беседовать по душам).
Алексей Каптерев задал вопрос про тренинги resilience, что это такое в отличие от тренинга стресс-менеджмента -- https://www.facebook.com/kapterev/posts/pfbid0QGsAJmySRwAZj25G9SknziWtN9DdZbJNuZHkiwYSgK6fR5Dbjyo4QeJQV1SLhAaol. Я отвечал по линии системной инженерии: В инженерии stress -- это когда работаешь на пределе возможного. Скажем, на скорости 200км в час, когда у тебя паспортная 150 км в час. Resilience - это когда наступает событие, которого нет в проектных режимах, и ты вроде как должен работать. Скажем, у тебя отвалилось на вполне нормальной (не стрессовой) скорости одно из четырёх колёс, и ты вроде как должен переконфигурироваться так, чтобы на трёх колёсах доехать до хоть какого-то автосервиса. Стресс -- это работа под нагрузкой, на пределе. Выживаемость -- это работа в конфигурациях, которые не учитывались проектировщиками (так называемые "запроектные аварии", для которых не делались расчёты при конструировании, ибо о них не знали). Ну очень модно было в инженерии лет десять назад. Сейчас считается, что вроде так и надо делать, все привыкли, уже не модно, а "да, конечно, пытаемся думать, как будет работать система в условиях, когда всё вообще навернулось, и надо хоть что-то делать". То есть не только happy path и стопиццот ни разу не хэппи путей, а "что будете делать, когда у вас мимо всех рассмотренных сценариев дела плохо пошли?" -- и надо вдруг рассказать, что будет при этом происходить, "сценарий отсутствия сценария".