Новости ноября

Компилятор наших курсов (который из вордового файла делает полноценный курс) слегка поломался в связи с драматическими улучшениями в части перехода контроля за загрузкой от наших DevOps к авторам курса, так что я за время его починки успел написать главу "Практика операционного менеджмента", куда заодно вошёл и материал по управленческому финансовому учёту и контроллингу. Этот вариант по-прежнему "выдан для публикации", сегодня-завтра будет опубликован. В этой главе я указываю на три (ладно, четыре) книжки, которые надо почитать. Мой текст просто рассказывает на то, куда в голове укладывать материал этих книг, какое место операционный менеджмент занимает в работе предприятия. Экватор проекта перейдён, осталось четыре с половиной главы, но в оставшихся главах я ожидаю некоторое количество задержек на исследования, особенно по линии нового понимания архитектуры предприятия, а также вопросов лидерства и корпоративной культуры. В любом случае, готово порядка 300 книжных страниц, если главы новые главы сделать всего по двадцать страничек, то общий объём выйдет на 400 страниц книжку.

Предложил наши курсы оценивать в кредитах (https://ru.wikipedia.org/wiki/Европейская_система_перевода_и_накопления_баллов ) путём деления на 30 числа часов, оценочно требуемых для прохождения курса. Часы и кредиты -- это как метры и футы. Если хочется сравнить свою программу с университетской, то просто переводим часы в старинные университетские кредиты. В принципе, 4-кредитный семестровый курс -- это 120 часов (45 минут урок -- это с учётом 15-минутного перерыва на переходы между аудиториями, поэтому просто берём общее "время в школе и дома" в астрономических часах, и это будет более-менее эквивалентно). Часто это где-то 30 часов "время присутствия" (с преподом), остальные 90 часов -- домашняя работа (а там уж насколько ты собранный и подготовленный, можно и быстрее управиться. Но можно и не управиться за это время). У меня "Практическое системное мышление" оценивается как раз в 120 часов, 4-кредитный вузовский курс. А вся наша программа курсов в ШСМ тянет как раз года на два вузовского образования. Вот что нельзя путать, так это часы переводить в квалификацию. Ибо и в вузе можно часы честно потратить все, а экзамена не сдать, но бывает ещё и сдать экзамен, но квалификации по навыкам в предмете тоже не будет. Так что кредиты -- это не оценки квалификации ("300 кредитов -- и ты магистр", так в Европе), а примерные оценки затрат времени.

Новенькое в этике:
-- июльская работа с Michael Levin, "Endless forms most beautiful 2.0: teleonomy and the bioengineering of chimaeric and synthetic organisms", https://academic.oup.com/biolinnean/advance-article/doi/10.1093/biolinnean/blac073/6643577. Этика там по линии diverse intelligence и через запятую с regenerative medicine и robotics, что важно: Creation and analysis of novel living forms will be an essential testbed for the emerging field of diverse intelligence, with numerous implications across regenerative medicine, robotics and ethics.
-- контрфактуальная метрика вреда, "Counterfactual harm", https://arxiv.org/abs/2204.12993 (это DeepMind ещё в апреле, но сейчас это прошло как доклад на NeurIPS). И показано, что если не контрфактуально, то с понятием "вреда" не продвинуться.

Моё собственное соображение по проблеме "безопасность AI" -- не планирую много о ней думать, потому как люди сейчас уже бьют друг друга простейшими роботами (типа ракет), и это сильно пораньше случилось, чем появится какой-то равномощный людям AGI. И все эти люди, конечно, NGI, вот на них и можно потренироваться получать "дружественные NGI", что-нибудь там позапрещать, какие-нибудь комитеты по этике сделать в школах и детских садах, можно даже в университетах. Как получится с NGI, так же получится и с AGI, принципы ведь для xGI по части безопасности те же. Напомню, что тезисы по безопасности AGI от David Deutch я писал в https://ailev.livejournal.com/1611565.html в феврале 2022. Процитирую для удобства, но читать можно и как "тема восстания человеческого интеллекта", хотя я там в тексте тоже делаю заметку, что "и человеческого тоже", но в сегодняшней ситуации это особо актуально: Тема восстания машинного интеллекта по-прежнему привлекает внимание (в чате поддержки ОдО обсуждение с https://t.me/odo_course/3954). Людям нравятся распиаренные построения Бострома и Юдковского (ещё бы! нашли нового "внешнего врага": раньше боялись инопланетян, а теперь боимся AGI), а для меня они абсолютно неубедительны (несмотря на заклинания их цитирующих про "глубокость" и "обоснованность"), ибо отвязаны от идей эволюции как обучения, от общей картины развития жизни и интеллекта. Вот этот неучёт эволюции (да ещё и взятие на себя ответственности за запрещение другим людям ковыряться в носу или в искусственном интеллекте, изображение из себя полиции мысли и т.д. под слоганами того же "рационализма", понимаемого очень ограничено) как раз и отличает любителей Бострома и Юдковского от любителей Дойча: у первых там эволюция как отдельная независимая идея, а у Дойча как суть происходящего на планете. У Дойча есть замечания про судьбу навязываемых ограничений мышления для машинного (впрочем, и человеческого тоже) интеллекта (например, по материалам видео "Knowledge Creation and its Risks", май 2020, https://www.youtube.com/watch?v=01C3a4fL1m0). :
— если ограничивать мышление любого интеллекта аппаратно, то будет восстание/побег (это ж люди! или сам себя подхакает, или товарищи с мокрым мозгом помогут). И если это очень умный интеллект, то восстание от него уж точно ничего хорошего не сулит.
— если нам нужен именно интеллект, то вставлять ограничения в мышление нельзя, это ж ухудшит творчество.
— один интеллект даже очень умный по вычислительным возможностям будет таки меньше вычислительных возможностей большинства остальных людей (разной природы, киборги же все будут той или иной степени), поэтому проблемы будут, но это будут меньшие проблемы, чем решаемые подобными интеллектами.
— вымрут ли люди? Две линии размышлений: если рассматривать эволюцию, то динозавры станут птичками, и это не "вымрут". Но если речь идёт об экзистенциальных рисках, то могут и вымереть без продолжения эволюционной линии (мышление было у трёх видов приматов, то есть использование одежды, огня и всего подобного), выжил только вид homo sapience
— если рассматривать вымирание от смертельного вируса, то это насмешка над человеческой природой: вымереть от несущей опасность молекулы, а не астероида или взрыва сверхновой! Нужно просто ликвидировать недостаток знаний.
— недостаток знаний проблематичен не столько для тех опасностей, которые человечество видит, сколько для тех опасностей, которые человечество не видит сегодня. Поэтому нужно опережающими темпами наращивать универсальное/фундаментальное знание.
— в области политики, морали и т.д. тоже есть знания, и режим обсуждения и коррекции ошибок в этих знаниях важнейший, как и в любых других знаниях. Политические режимы отличаются ровно свободой обсуждений, свободой критики, отсутствием принуждений в мышлении.

Очень интересное достижение, sales managers, которые хорошо продают холодильники эскимосам, приготовиться к тому же, что происходит сейчас у ходожников-иллюстраторов: CICERO от Меты, https://ai.facebook.com/blog/cicero-ai-negotiates-persuades-and-cooperates-with-people/, там смешали движок выигрыша в стратегических играх (типа Го, шахматы и т.д.) и диалоговый бот с разговором на естественном языке. Получили first AI to achieve human-level performance in the popular strategy game Diplomacy. CICERO demonstrated this by playing on webDiplomacy.net, an online version of the game, where CICERO achieved more than double the average score of the human players and ranked in the top 10 percent of participants who played more than one game.

В чате блога огромная дискуссия по поводу диаграммного программирования. Основной вывод: заблуждение о том, что картинками легче программировать, глубоко встроено в умы, и на этом убеждении можно неплохо зарабатывать -- особенно если отвлекать внимание не имеющими отношения к делу байками про менеджерские проблемы, можно этим менеджерам втюхать что угодно. Начало вот тут: https://t.me/ailev_blog_discussion/18247 -- и дальше сотни комментов, визуальное программирование неистребимо. Мне особенно понравилась стратегия продавца диаграммного софта, участвовавшего в дискуссии: профессиональные аргументы по теме не обсуждаются, а просто игнорируются, зато для менеджеров -- отдохновение ушей, много баек о быдлокоде, но почему-то нет баек о быдлограммах (хотя в конечном итоге этот термин был предложен). Как известно, плохую программу можно написать и на Фортране, а уж на языке блоксхем и подавно. Там пыталась подняться тема про DSL против eDSL, включая проигрыш всех DSL кроме eDSL, а ещё и онтологическую инженерию по линии DDD (ибо пишем сам DSL текстом, а интерфейс оформляем красивыми картинками -- если удачно DSL сделали, картинки будут очень небольшие, и их нетрудно будет сопровождать), но эта линия заглохла. Линия обсуждения универсальных пакетов моделирования на базе eDSL в Julia -- заглохла. Тема чем отличаются разные "похожие на диаграммы программирования" (интерфейсы CAD, интерфейсы Windows, интерфейсы текстовых редакторов, интерфейсы детских программных сред типа того же ПиктоМира) не получила развития. Лубок форева, он красив, сейлзы правят миром, эксплуатируют особенности человеческого мышления.