В понедельник 1 мая 2023 прошёл шестой день текущего потока "Системного менеджмента и стратегирования", и праздничная дата оказалась проблемной: длинные выходные выкосили значительную часть группы, и это оказалось не только у меня -- те же проблемы были и у потока "Моделирования и собранности", там тоже в этот день были занятия, и тоже неожиданные проблемы с посещаемостью. Странно, обычно мы всегда игнорировали праздники, и всё обычно было в порядке, тем более что группы международные и даты праздников везде разные. Тем не менее, провели полноценное занятие, а кто не дошёл, те будут смотреть в записи. Ещё раз пообсуждали новости AI: многие студенты экспериментировали с prompt engineering и подтверждают, что знаний из наших курсов вполне достаточно, чтобы достигать результатов. Это меня радует, ибо даже на прошлом потоке prompt engineering и GPT-4 ещё в жизни не встречались, хотя все материалы уже были готовы. А сейчас выяснилось, что с prompt engineering уже все знакомы, наши материалы в этом помогают, да ещё и опыт общения с нежитью (если понимаешь, что происходит!) помогает выстраивать общение с людьми (включая общение с самим собой). Как всегда, к шестому где-то дню возникает "ага-эффект": студенты вдруг понимают общую конструкцию тренинга, а самые продвинутые демонстрируют результаты. В этот раз всё тоже отличненько воспроизвелось (при этом подчёркивалось, что всё это без надрыва и даже наоборот -- удаётся спать спокойней, работать равномерней, всякая тревожность перед будущим пропала, ибо более-менее понятно, что происходит: непрерывные сюрпризы, с которыми работаем штатно). Вот из результатов к шестому дню:
-- серийный предприниматель уже директор по развитию, но сумел поднять число своих проектов вдвое за время курса, при этом масштабы работ увеличились, но работы не добавилось, ещё и в семье удалось много чего. И вполне есть потенциал поднять довольно быстро масштаб ещё вдвое. Заодно обсудили, что у "серийного предпринимателя" за годы обучения на всяких венчурных курсах довольно специфический критерий "успешности": удержание максимального числа проектов (десять мелких лучше одного крупного).
-- ещё один уже директор по развитию получил пивот от владельца бизнеса: масштаб вырос в полтора раза, целевая система изменилась кардинально, а поскольку собственник -- то "вот прям щас". Всё вокруг перешло в пожар и тревогу, а он вроде как продолжил работать в штатном режиме, хотя оказался в силу своей позиции в эпицентре происходящего. Что интересно, так "план по табличкам" даже не был составлен, просто таблички для сотрудников (оргмоделирование новой оргструктуры для нового продукта) производились в нужных количествах прямо из головы, и это даже не воспринималась как какие-то специальные действия, "обычная рутина, что об этом говорить". Вот этому и учим: все вокруг на ушах, а директор по развитию вносит порядок и спокойствие, даже не замечая, как использует системное мышление.
-- директор по персоналу в айтишной фирме реорганизовал работу по рекрутингу на основе материала курса, говорит, что стало работать много спокойней: ощутимо меньше ошибок, ощутимо точнее подбор, много меньше обсуждений и переспросов, больше самой работы. Различия ролей, должностей, квалификаций, интересов и всё остальное, что важно для работы службы, попало в чеклисты, и машинка найма заработала точно и быстро.
В ШСМ у нас полным ходом проект организационного развития -- всё как у меня в учебниках. Мы научились выпускать "в ручном режиме" директоров по развитию из технарей, теперь это программа "Организационное развитие" на шесть семестров. А ещё научились "собирать в кучку" людей, которые давно разучились учиться, и которых это сильно тревожит, теперь это программа обучения саморазвитию "Новая грамотность". В моих курсах я учу, что оргизменения -- это от 4 месяцев, при этом будут сильные эмоции и много нервов. Вот, ровно так и происходит, в Школе-то уже больше 60 человек, которые должны разобраться в ситуации -- плюс надо переписать курсы, переделать софт, переориентировать всю внешнюю коммуникацию (которой тоже немало), переформатировать чаты поддержки, переверстать вебсайт. Скажем, текст с обоснованием последовательности прохождения курсов для директоров по развитию я опубликовал ещё в середине февраля (https://ailev.livejournal.com/1671965.html), а первая страница вебсайта в какой-то грубой начальной форме (будем её допиливать напильником в ближайшие дни) появилась только сегодня ночью, и весь день там принимаются понемногу разные решения по реорганизации того, что уже вещается: https://system-school.ru/. Release не совсем получился early, зато надеюсь, что затем будет release often. Сейчас уже основное понимание происходящего внутри Школы есть, но надо объяснить происходящее вовне Школы. Как выразился один из наших выпускников, он не смог показать своим сотрудникам, где находится на нашем вебсайте большая красная кнопка "КУПИТЬ". Хех, я и сам тут слегка торможу, просто считаю, что в основе любой рекламы лежит уникальный шикарный товар, поэтому потратил всё время на то, чтобы довести этот товар до совсем уж уникальности -- обновил курсы "Интеллект-стек" (это было важно, поскольку пошло в поддержку материала первого семестра) и курс "Практическое системное мышление" (самое важное там -- убрал процессы-системы, все эти "танец, отдых, жизнь как системы" -- эти процессы-системы сильно сбивали студентов с толку, приносило больше вреда, чем пользы. Что там внесено более сотни правок по мелким опечаткам и ошибкам -- это мелочь). Так что в ближайших планах -- написать подробный пост, что там у меня в тренинге по менеджменту, который начну с 21 мая 2023 и в котором буду 60 часов лично общаться с группой на тему инженерии и менеджмента в их рабочих проектах, уже можно оставлять заявки тут: https://system-school.ru/sm-and-en (формально набор в группу второго семестра открыт, только я ещё не успел об этом подробно написать. Вот, пишу пока неподробно, остальное на странице программы. Почему второй семестр? Просто ожидаются те, кто как-то сами прошли уже в старых версиях онтологику и собранность в преподом или "самоучительством" по онлайн-курсам. Ну, или кто в режиме ошпаренной кошки собирается успеть это пройти сам к 21 мая 2023, такие тоже есть -- по большому счёту, там материала немного, хотя он и довольно трудный. Но опять же, трудный не для всех, люди очень разные).
Основная интрига на планете, конечно, это появление технологий retrieve в их огромном разнообразии. А тема обсуждения "AGI нас всех съест" (с хедлайнером Хинтоном в этих новостях прошлой волны) заменилась на "опенсорс сейчас догонит корпоратов" -- и тем самым волноваться про AGI остаются ширнармассы, а спецы обсудили, определились, и теперь их волнует "как приспособить этот AGI к делу", а не красочная картина "вызванный демон сжирает вызвавшего его адепта". Главная обсуждаемая статья сегодня -- https://www.semianalysis.com/p/google-we-have-no-moat-and-neither (например, вот тут 903 коммента на сейчас, https://news.ycombinator.com/item?id=35813322, набежало за 18 часов, а вот тут за 23 часа 231 -- https://www.reddit.com/r/ChatGPT/comments/137iuuh/google_we_have_no_moat_and_neither_does_openai_os/, и дальше по всем чатам и соцсетям). В статье хороший такой список ссылок, хотя часть этих ссылок ведёт в никуда, ибо это "внутренние гуглевские документы" (и в сети вопли, "Гугль, опубликуй эти документы, очень нада!", типа https://twitter.com/aronchick/status/1654235191974694916). Я тут полностью придерживаюсь мнения от редакции: "мы с текстом не согласны, и многие исследователи с выводами не согласны, но статья определённо стоит того, чтобы её прочесть" -- да, именно так. Я с текстом не согласен, но редкий сборничек ссылок и сюжетов. Мне больше всего сегодня важны даже не те сюжеты опенсорсовости и малых моделей, которые описаны в тексте (это всё про "процессоры в телефоне" -- они важны, но нормальные процессоры работают в датацентрах, обслуживая масштабируемые приложения, и там вычислительная мощность уж всяко не поддаётся уже учёту, с "think tank для нежити" всё то же самое, не распределённая по подстольным в силу размера и настольным компьютерам мыслительная мощь будет, а более менее централизованная). Вот мой список трендов, которые я отслеживаю вот прямо сейчас:
-- как выжать из текущей модели (лучшей! Значит, пока это всё-таки GPT-4) побольше. Это только-только начали находить. Основное тут -- это задавать правильные последовательности рассуждений, давать "дольше думать", причём не "дольше один шаг", а "много раз отдельные шаги, каждый раз чуток меняя задачу" (например, "сгенери -- покритикуй -- учти критику -- покритикуй из другой роли -- учти и эту критику, дальше крути этот цикл некоторое время"). Последнее тут -- это как получить 100% (заведомо лучше людей!) прохождение тестов ToM через правильный промптинг: https://arxiv.org/abs/2304.11490.
-- как добавить знания по domain и вообще память, самая интересная статья вышла вот тут, продолжение темы "сетка с retriever поборет всех, если дать ей время и достаточное число шагов": Unlimitformer https://arxiv.org/abs/2305.01625, и там даже вроде как код на GitHub есть (разбор вот тут: https://t.me/c/1848182830/564). Новые слова в AI уже не LLM (это старое слово), а "возврат к семантическому поиску", то есть retriever и vector database (вот тут десяточек для того, чтобы напомнить, что это -- https://byby.dev/vector-databases)
-- потихоньку обсуждается качество обучения на разных данных. Так, качество генерации кода можно существенно наращивать, если задавать правильные данные и правильные промпты, и получены новые бенчмарки, побеждают LLM, а не code models -- https://arxiv.org/abs/2305.01210 (при этом, похоже, LLM выигрывают, если их начинать обучать кодированию. Детки-программисты-сызмальства могут таки оказаться умнее, идея раннего обучения информатике рулит).
-- квантовый компьютинг продолжает вроде как буксовать, но ему пока пророчат "нишу" в материаловедении (грубо говоря, "квантовой механикой считать квантовую механику"): https://cloudblogs.microsoft.com/quantum/2023/05/01/quantum-advantage-hope-and-hype/. Но если там таки прорвутся (а там прорвутся, там много денег вкачивается), то "квантовая нейросетка" алгоритмически неожиданно может оказаться более чем быстра и дешева, стоимость интеллекта тогда дропнется, и сильно, а уж "ввод-вывод" обеспечат, это ж как в предыдущих поколениях компьютеров, тоже начиналось с ручного ввода отдельных бит в байте переключателями на пульте. Но поглядим, с нашими деньгами мы не игроки на этих рынках, просто хочется, что если волна пойдёт, нас бы не смыло неожиданно вместе со всеми. Хотя бы на пару секунд позже, чем всех остальных, уже будет приятно!
Отдельно про AI в образовании, обсуждается опыт Khan Academy, которая получила доступ к GPT-4 с августа 2022 (15-минут TED Talk от основателя Sal Khan, https://www.ted.com/talks/sal_khan_the_amazing_ai_super_tutor_for_students_and_teachers/c). Там та же самая мысль, "дай AI подумать перед тем, как что-то говорить студенту" -- и дальше хитрые промпты, как использовать результат этого "подумать" для поддержания сократического диалога со студентом. Моя фишка тут в том, что обращать внимание надо на "движок обучения общий" (форма SoTA, но не она главное), а вот "чему учить" -- вот это главное. Все вот эти "с кодирования начинать, потом заливать LLM и будет счастье", а от себя добавлю, что "потом заливать надо интеллект-стек и выходить на инженерию и менеджмент", то есть заливать в содержание образования надо наше, курсов ШСМ. Поэтому я до сих пор чищу и чищу вручную содержание наших курсов, это ровно та же работа по созданию датасетов, что отличает сегодня крупные центры разработки LLM. И тут вот ещё эта инициатива интересна, ровно то же самое, что в Khan Academy, только с демонстрацией, как эти prompts устроены, тот же ход на opensource и тот же ход на "тьютор -- это сократический диалог каждому" (пока не выяснится, что сократический диалог не решает всех проблем, что-то мне подсказывает, что тут ещё много интересных открытий будет собственно в дидактике-для-людей): https://github.com/JushBJJ/Mr.-Ranedeer-AI-Tutor, Mr. Ranedeer AI Tutor, a customizable prompt that delivers personalized learning experiences for users with diverse needs and interests (на базе GPT-4, вариант с GPT-3.5 даже не рассматриваю). Алмазный век или букварь для благородных девиц, помним. Мой тут ход, что это надо рассматривать не как девицу с букварём а букваредевицу, не как "я и мой фамилиар", а как "мой фамилиар и я, если этот фамилиар, конечно, мой". Будем туда ползти с Aisystant, учебная функция там ведь не самая главная будет.
Пока же у меня в чате блога и в сообществе экзокортекса продолжают обсуждать (сегодня и ежедневно), куда ж девать личные заметки, какой софт лучше (и справедливо там ехидничают, что софт искать, конечно, интересней, чем заметки писать, а я хихикаю, что у меня заметки в ЖЖ делаются с 2002 года, уже 21 год. Вот и сейчас я пишу эти строки в Semagic, и нормально так получается. Вроде как содержание текста и мыслей от этого не хуже, чем от использования какого-нибудь obsidian или даже coda.io -- от карандаша и бумаги по линии мыслей не так много зависит, а вот от тренировки нейросетки под черепом -- много). Я поэтому и хочу брать на свой курс менеджеров только тех, кто прошёл обучение на курсе "Моделирование и собранность", что их учат писать мысли на чём угодно, но писать (а не рассуждать, что "когда надо, тогда будут писать", только никогда не случается потом этого "надо", а случается "лень и некогда"). Вот, поглядите на заметки студента по курсу менеджмента -- https://blog.system-school.ru/author/svyatoslav/. И (судя по отзывам пишущего эти заметки на наших занятиях), заметки хорошо так работают, дают неожиданные для него самого результаты. И все говорят, что результаты тренировки нейросетки неожиданны после перехода на нормальное мышление письмом. Вот и я сейчас, сижу и мыслю письмом. Не для блага читателей, а для своего собственного блага, моя нейросетка потом выдаст нетривиальные мысли после этой тренировки.
ВОЗ объявила отмену чрезвычайной ситуации, связанной с ковидом (пандемии), она длилась с 11 марта 2020 года. С того момента прошло 3 года, 1 месяц и 3 недели — 1150 дней -- https://edition.cnn.com/2023/05/05/health/who-ends-covid-health-emergency/index.html. Я говорил, что вернусь к своим постам про ковид и тотальную вакцинацию с локдаунами попозже, когда пыль уляжется. Вот, наступил тот момент, когда пыль начинает потихоньку оседать. Кто интересуется, что там было и что стало вот уже сейчас -- какую-то ленту об этом продолжает https://eugenegp.livejournal.com/. В фейсбуке у него на эту тему немного больше постов по тематике "говорили тогда -- оказалось сейчас", но и этих постов в ЖЖ хватает (и там дальше по пруфлинкам на первоисточники). Так что ещё подождём немного, все ходы записаны.
Картинка в пост мной рассматривалась как демонстрация большей человечности (эмпатия, но и корректность там вполне норм) чат-бота по сравнению с обычными врачами, дающими ответы на вопросы: картинка в https://jamanetwork.com/journals/jamainternalmedicine/fullarticle/2804309, надо идти в supplemental content и смотреть там Supplement 1. Ну или поглядеть вот тут, её тут скопировали и дали комментарий на русском: https://t.me/seeallochnaya/326. Это к вопросу о том, буду ли я интересоваться своими болезнями у людей или нежити. Через полгода ответ будет абсолютно однозначен (думаю, полугода хватит, чтобы самые отвязные ребята типа OpenAI+Microsoft выкатили свои решения в открытый доступ. Вою, конечно, будет дикое количество, поэтому поджимание со стороны систем с открытым кодом тут очень полезно -- "если не мы, то через пару месяцев они сами сделают, давай хотя бы на пару месяцев опередим". В итоге задёшево получаем не только более начитанных не очень живых докторов, но и более вежливых и эмпатичных, чем живые. И (в среднем, конечно -- но это добавляет шансов на жизнь почти каждому) более точных, чем живые. Очень, очень увлекательный момент в истории человечества.
Но я выбрал другую картинку, и даже не картинку, а табличку, мы такое любим. Это показ того же результата, что выдал когда-то CYC (там с удивлением замечали, что "модель языка и модель мира рулит, а domain knowledge составляет удивительно малую часть из того, что дёргается в прикладных задачах"? "Когда они пришли в медицину, то потребовалось добавить только 5% правил собственно медицинских, а 95% уже в базе знаний CYC было. Интеллект -- это 95% их базы, а прикладное знание медицины -- 5%", писал в https://ailev.livejournal.com/1610230.html, это было обоснование идеи Lenat о важности common sence). Но результат был выдан на примере умения нейросетки писать безошибочный код на языке программирования. Для меня это так же самая идея, что интеллект решает всё, и это необязательно вычислительные возможности, но какие-то знания о мире будут определяющими. Итак: берём LLM, и самая умная LLM GPT-4 (которую учили знаниям обо всём мире, в том числе знаниям о коде) пишет код лучше, чем специализированная сетка-кодер (которую учили знаниям о коде, но не знаниям о мире). Вот результаты на новом бенчмарке (из https://arxiv.org/abs/2305.01210, before это на старом бенчмарке, after на более сильном, процент генерации проходящего все новые усиленные тесты кода среди первых сгенерированных k вариантов. GPT-4 генерит единственный фрагмент сразу в 76.2% случаев. Более глупые модельки тоже сгенерируют такой код, только запускать их нужно большее число раз, что не факт, что дороже по сравнению с GPT-4. Глупые сетки тоже думают, только думают дольше -- больше шагов критики и улучшений, генерации гипотез и экспериментов. А уж если умные сетки будут в таком режиме думать дольше, то и вообще ситуация с общим интеллектом на планете изменится сильно быстрее, чем можно было бы ожидать ещё полгода назад. И эксперименты по доучиванию сеток-кодеров знаниям о мире, ровно то, что делаем мы в ШСМ, доучивая инженеров до менеджеров, идут -- и вроде как такие доученные сетки даже умней стандартных LLM, которых сразу учили всему, а не сначала формальной записи с контролем типов, это нашли в OpenAI -- https://t.me/seeallochnaya/308, https://t.me/seeallochnaya/309, и там гипотеза, что GPT-4 тоже учили сначала кодировать, а потом уже всему остальному):
