В инженерии без этики нельзя, и лучше бы при этом быть знакомым с аргументами из книжек, чем "голосовать сердцем"
В чате поддержки курса системного мышления поднялся разговор про этику в связи с созданием успешных систем, которые могут быть этичны и не очень (с https://t.me/systemsthinking_course/17691). Исходная система -- это система предсказания молекул с влиянием их на нервную систему. Эта система искусственного интеллекта так же бодро, как предлагала лекарства, предложила после правильно заданного вопроса и нервно-паралитические боевые отравляющие вещества (включая переизобретение уже имеющихся на вооружении), https://www.nature.com/articles/s42256-022-00465-9.
Вопрос об этичности применения искусственного интеллекта как и применения любой системы, относится и к применениям (включая самоприменение, по собственной инициативе) не только искусственного, но и мясного интеллекта, человеческого, а также любой смеси этих интеллектов, а также коллективного интеллекта групп людей и их компьютеров. Я писал об этом ещё в "Искусительный интеллект в Яндексе" (https://ailev.livejournal.com/1515979.html, там были эксперименты по подбору положительных и отрицательных постов по определённым темам. Сегодня у Яндекс.новостей это уже не эксперименты, это уже инженерное решение, хотя темы поменялись -- но вопросы по этике к такому решению остаются, и разные люди отвечают на этот вопрос по этичности использования AI в целях цензуры по-разному, при этом цензура давит мнение людей, которые с ней не согласны, так что тут даже обсуждения по факту нет).
Этичность точно так же рассматриваться должна без какой либо индивидуальной, расовой/религиозной и даже видовой пристрастности. Деантропоморфизация этического мышления будет полезна в том числе и про людей. Этична ли смерть? Один ответ -- нет, ни разу, ни в коем случае, а другой ответ -- да, ибо эволюция в ней нуждается! А может быть тогда не смерть, а "эволюционная модернизация" по линии трансгуманизма? Инженерное решение, входящее за рамки узковидовых этических приоритетов -- сходу мы сталкиваемся с пересечением инженерного деятельного (изменяющего себя и мир) мышления и этики. Этика в инженерном мышлении есть всегда, её нельзя выкидывать -- и системной инженерии без этического рассмотрения быть не может. Если вы создаёте столовую вилку, ложку и нож, то ими тоже можно убить — использовать как оружие. Дальше вопрос, который любят задавать юристы: а намерение какое? Столовое, "двойного назначения", или таки "чтобы убить было легче, чем кушать" (маскируем "боевой клинок" и "боевую вилку" под столовый нож)? ОК, с ножом понятно, но вот дети могут сунуть руку или железный гвоздь в розетку -- запретим 220 вольт в домашней сети? Что, не все дети это будут делать, а только очень некоторые, а электричество очень полезно для освещения и стиральной машины? Ну, мы за ценой не постоим, детские жизни дороже! А вот в социальной сети взрослые могут написать неправильный пост -- запретим соцсеть в страновом интернете! Что, социальные сети для чего-то там полезны? Ну, мы за ценой не постоим, неправильные посты вреднее, чем вся польза от остальных постов!
Мозг в плане этики (равно как и в плане системного мышления, который отправляет мышление в ситуацию использования целевой системы прежде всего) выключать нельзя, любой ведь инженерный объект можно представить как "двойного назначения", а кроме этики сравнивать пользу и вред -- нет такой дисциплины (включая обсуждение вопроса, можно ли сравнивать пользу и вред -- вопрос об утилитаризме https://plato.stanford.edu/entries/utilitarianism-history/, и вопрос о том, должны ли мы судить о делах по этим делам -- деонтика https://plato.stanford.edu/entries/ethics-deontological/, или таки включать обсуждение последствий по линии причин-следствий, консеквенциализм, https://plato.stanford.edu/entries/consequentialism/). Тут главный вопрос: бытовое ли у вас рассуждение про этику, или вы понимаете, какие могут быть аргументы в пользу того или иного решения в силу того, что хоть что-то изучали по этой линии, а не просто "голосуете сердцем".
Этика и стек создания как стек эволюционных системных уровней
В инженерии как изменении мира мы имеем дело с довольно таки большим числом системных/эволюционных/познавательных (познание как многоуровневое обучение в ходе эволюции поднимается в работах Ванчурина, Кацнельсона, Вольфа, Кунина, см. историю проекта в интервью Кацнельсона https://trv-science.ru/2022/03/vsya-nasha-zhizn-zadachi-po-optimizacii/ и там далее литературу) уровней. Вот как я вижу эти уровни на сегодняшний день, я называю их "стеком создания" (для меня это "системы создания", без упоминания типа "система" это просто "создатели", с определениями близкими к определению создателя/constructur из constructor theory Дойча):
-- Человечество -- мы тут одни на маленьком глобусе (человечество со всеми его людьми и компьютерами, но не все агенты будут человеками, тогда трансгуманистически назовём "агентечество" или ещё как), но планируем распространяться по космосу. Этично ли это? Или мы будем "загрязнять космос" и нужно самоубиться согласно слоганам "зелёных" (в случае безжизненного Марса -- "красных")?
-- Общество -- каталлактика/экономика, дальний порядок, политии (в том числе государство). Желающих рассказать, что этично или что неэтично делать с обществом по части его нарезки на государства, ограничения торговли и т.д. можно найти в любой рюмочной, в любой пивной, что уж говорить о редакциях СМИ, где журналисты с их профильным чтением художественной литературы имеют своё просвещённое мнение по всем этим вопросам, а уж блогеры так и вообще тут профи! Вопрос привязки к территории тоже обсуждается: вот мой текст 1999 года, https://old.computerra.ru/1999/320/196008/, вот более свежий обзор панархизма/контрактных юрисдикций/частных юрисдикций, https://medium.com/libertarian-state/контрактные-юрисдикции-краткое-введение-8153668ed268
-- Сообщество -- можете посмотреть определения subculture, counterculture, community, community of practice, learned society, school of thought из википедии: все говорят об одном и том же, подчёркивая разные стороны. И мы тоже можем говорить разным языком, подчёркивая разные стороны. У нас субкультура, контркультура, сообщество практики, сообщество наученных (деятелей, не учёных!), "незримый колледж". Но можно говорить и о племени (очень модно!), и о "муниципальном образовании" типа "деревня, где все друг друга знают". Ориентируемся на число Данбара, ещё относительно ближний порядок.
-- Коллектив/организация, которая трудится -- это проекты (организованные коллективы, то есть с понятными ролями и полномочиями каждого). И трудовые кругозоры (курс системного менеджмента, https://system-school.ru/systems-management), и курс системного мышления с акцентом на проекты (https://system-school.ru/systems-thinking) как раз тут.
-- Личность, которая сегодня рациональный/разумный человек-киборг. Стек саморазвития: собранность, работа-учёба-хобби-семья, мышление письмом и инвестирование времени. Курс системного саморазвития (https://system-school.ru/introonline) как раз про этот уровень.
-- Существо -- тут разведение существ (типа как коров на свете, выращиваемых для забоя, много больше, чем можно было бы их ожидать в дикой природе), сохранение разных генотипов (борьба с эволюционными вымираниями!), генная инженерия ("мы не можем ждать милостей от эволюции"), и тут же "благо всех чувствующих существ" (включая xGI уровня муравья: этично ли его выключить? А наступить на муравья -- этично? А вымыть руки бактерицидным мылом? Это ж геноцид, то есть устранение живых/чувствующих существ по принципу различий в геноме! Ладно, а аборты: рациональности/разума-то в эмбрионах человека ещё нет! И даже в младенцах особо нет, что тоже вызывает вопросы).
-- Вещество -- его явно можно использовать во вред! Поэтому надо запретить работать с некоторыми веществами (уран-235 без обсуждений, но и золото тоже, это ж неподконтрольная властям валюта! И наркотики, конечно, но не алкоголь, хотя и алкоголь тоже, или всё-таки нет. И сталь, если оно в форме пистолета, и даже ножа, или у него сомнительная цена в больших количествах, это ж "демпинг").
Этика как оптимизационные правила для межуровневых фрустраций
В новой версии системного мышления я подробней пропишу про фрустрации, которые вызывает эта системная эволюционная многоуровневость, если её понимать как многомасштабную оптимизацию. Фрустрации -- это противоречия в том, "что такое хорошо" для систем каждого из эволюционных уровней (подробней про фрустрации см. https://trv-science.ru/2022/03/vsya-nasha-zhizn-zadachi-po-optimizacii/).
Скажем, клетка в организме хочет безудержно размножаться для неё это "хорошо и этично", а для организма это рак, "плохо и неэтично" -- и тут вроде всё понятно, поскольку клетке и даже организму мы отказываем в разуме. Человек в проекте хочет выспаться и не ходить на работу, а для коллектива это провал проекта и неполучение зарплаты всеми. Но должна ли клетка подчиняться требованиям организма (кому должна? кто определяет "долженствование"?), и должен ли аналогично человек подчиняться требованиям коллектива? А если неразумные клетки или разумные люди не выбирали присоединиться к организму или коллективу, если их не спрашивали об этом -- могут ли они начать священную борьбу с неблагоприятным окружением, этично ли это? А если коллектив (отказываем ему в разуме! но тоже проблема, ибо вычислители вполне нормально объединяются для увеличения вычислительной мощности) борется с другими коллективами, а люди в них перебегают из одного такого коллектива в другой, или сплошь "двойные агенты"? Чью сторону возьмём в споре? А если эту борьбу обозвать патриотизмом а перебежчиков со всех сторон обозвать "предателями" -- поменяется ли оценка событий от приклеивания эмоционально окрашенных ярлыков, взятых из каких-то неявных этических теорий?
Фрустрации неизбежны между всеми системными уровнями, а эволюция при этом рассматривается как многоуровневая оптимизация: фрустрации всегда будут, но они не приведут к смерти всего стека индивидуальных систем разных уровней. Этические задачи из-за фрустраций будут всегда, недаром в конфликтологии замечают, что в информационной войне выигрывает тот, кто берёт цели максимально высокого уровня, если он сможет показать это в пропаганде: тот, кто защищает семью в квартале проиграет в информационной войне защищающему интересы квартала в целом, кто защищает мир во всём мире/цивилизацию выиграет у того, кто защищает интересы одной страны -- но горе, если будет показано, что вроде как борец за счастье всего мира прежде всего борется за счастье себя и своих приближённых в ущерб этому самому миру. При этом помним, что системных уровней много -- и можно играть на фрустрациях "через уровень" ("да, я борюсь против всех моих ужасных соседей по кварталу, ибо я воюю за интересы города в целом, за объединение всех кварталов!"), что окончательно всё запутывает.
Этика описывает тем самым норматив работы многоуровневой оптимизации для разумных уровней стека создания: чтобы неразумные квазиорганизмы не поубивали свои разумные квазиклетки, а разумные квазиклетки не поубивали свои квазиорганизмы (с учётом того, что всё это происходит не на двух системных уровнях, а на множестве и в разумности коллективам, сообществам, обществам и даже цивилизации в целом можно отказывать).
Системное мышление про многомасштабность/многоуровневость и этика тем самым существенно связаны. Талеб приводил в "Антихрупкости" пример ренормализации, чтобы показать, как активное меньшинство подчиняет себе более-менее пассивное большинство. Экономисты любят приводить примеры с продавливанием законодательства, где кто выигрывает 100тыс. рублей от какого-то решения, может продавить его, если от 100тыс. человек убудет всего по одному рублю. Это всё игры с разными системными уровнями: кому-то на более низком системном уровне чуть-чуть становится лучше за счёт того, что многим становится чуть хуже. Перераспределение богатства или убытков, или даже духовных благ (если живёте в несветской стране, а то и в светской, то всё быстро поймёте про "свободу совести" -- некоторым совестям будет явно посвободней, чем другим и это будет называться "справедливостью").
Этика и межстрановые проблемы
Скажем, в нынешних печальных межстрановых (уровень общества) событиях мне отдельные люди (просто знакомые, или даже представители власти через СМИ) говорят, что этично делать что-то (или страдать, или нести ответственность) просто по причине того, что кто-то административно меня записал в какую-то общность людей. А я отвечаю: меня не спрашивали, в какую общность записывать, поэтому пошли куда подальше с этими вменениями вашей нормативности, с этой по-вашему понимаемой этикой. Этично ли это? Для меня — безусловно, "без меня меня женили" не должно работать ни для кого в принципе! Скажем, этично ли проводить опрос о целостности страны/сепаратизме только среди жителей, которые не живут в спорной местности? Или только среди жителей всей страны вместе со спорной местностью, их обычно вдесятеро больше живёт не в спорной местности, результаты примерно те же будут, что в предыдущем случае? Или только среди жителей самой спорной местности, но на них предъявляют права те, кто в этой местности не живёт! Что делать с их хотелками? Там же страсти! И как доказать, что опрос был не под дулом пистолета? Не фальсифицирован (пример тут выборы США: вроде как развитая демократическая страна, а фальсификация выборов вдруг оказалась важной проблемой. А что тут со "страдающим меньшинством" -- его страдания куда деть, если большинство проголосовало за какой-то один вариант, а меньшинство проигрывает? А ежели результаты 50-50, "примерно поровну" -- и есть понимание, что это "поровну" не случайно, см. "Карл Фристон: по важным вопросам разделение всегда будет 50-50, дело в самих обсуждениях/коммуникациях" в "Теория демократии и "всё новое приходит сбоку", https://ailev.livejournal.com/1616855.html. Ах, и это мы ещё не коснулись этичности решения проблем социальной инженерии (включая вопрос о возможности и оптимальности инженерных решений отдельных людей по отношению к вышестоящим системны уровням -- и чёрт бы с ним, с уровнем проекта или даже уровнем сообщества, но вот уровнем общества?). И проблемы того, что голосование почему-то считается нормальным способом решения инженерных проблем, проблем изменения состояния мира с одного на другое -- если голосованием решать вопрос о толщине металла для корпуса железнодорожной цистерны не рекомендуется, а рекомендуется нормальная работа инженерной команды, то почему в социальной инженерии вдруг должно помочь голосование?!
[ежели что, то я в части сецессии https://ru.wikipedia.org/wiki/Сецессия тут исключительно про граундинг на какую-нибудь Испанию и басков — а вы что подумали? И тут же вопрос: в какой мере все эти аналогии можно переносить на другие кейсы а хоть и с той же сецессией, которая с одной стороны "сепаратизм", с другой "освободительное движение", в каждом из которых сразу появляется "две стороны" для суждений об этичности, а ещё есть и третьи-четвёртые стороны "друзей сторон"? И это вроде про отношения "часть-целое", и всегда нужно поэтому смотреть на уровень ниже "двух сторон" (их там много больше) и уровень выше — что там в мире в целом, где такого много. Вопросы применения силы для продавливания на более и более высоких уровнях (драка двоих, драка стенка на стенку между "проектами", набеги сообществ, "спецоперации" и "санкции" торговые и военные как-то организованных обществ, включая, впрочем, и вполне не организованную, а спонтанную партизанскую войну) в защиту тех ответов на задаваемые тут вопросы, которые стороны считают этически для них обоснованными я даже пока не рассматриваю. Вроде у цивилизации SoTA в том, что применение силы недопустимо и даже если дошло до войны, то и она должна идти "по правилам", а "кто начал первым/превентивно, тот и виноват" -- но недаром министерство нападения любой страны называет себя исключительно "министерством обороны", все тут информационно-грамотные и за высшую справедливость, а в реальности мы живём среди не слишком этично ведущих себя людей, и от этой неэтичности на низких системных уровней прилетает на все верхние.
Этика и работа консультантов и аналитиков
В этих бездушно-инженерных рассмотрениях (линия мультимасштабной инженерии как изменения мира на многих системных уровнях) этика всплывает на каждом шагу. Скажем, работа "аналитиков", которые отказываются признавать себя инженерами. Так можно рассматривать работу консультантов, и не только по части "аналитики для проектов создания успешных киберфизических систем", но и более высоких системных уровней стека создателей. Я когда-то спросил Игоря Минтусова (https://en.wikipedia.org/wiki/Igor_Mintusov ): вот тебя Гитлер попросил помочь сделать газенваген поэффективней -- какие ты дашь советы? Он отвечал, что будет как врач, не отказывающий в лечении: даст самый лучший совет, как сделать таки поэффективней, но ответственность за использование совета лежит не на нём, а на Гитлере. Идея о том, что консультант по норме предпринимает усилия по тому, чтобы его советы таки были реализованы (если не реализованы, то зачем советует?!), или что клиент может оказываться лишь усилителем для претворения его советов в жизнь (при наличии доверия к советам) ему в голову намеренно не приходила и отвергалась. Ибо он же был главным образом "консультант по победе в выборных кампаниях разных уровней власти", помогать сволочам входило в его обязанности, но он очень хотел, чтобы совесть его не беспокоила. Вот и трактовки: себя как врача, не имеющего права отказать злодею (но ведь это не вопрос жизни-смерти злодея как человека!), и себя как "чисто обработчика информации", который не несёт ответственности за изменения мира.
Но, конечно, "аналитик" как инженер (всегда подчёркиваю, что нет анализа без синтеза! аналитики это замаскированные инженеры, которые не хотят нести ответственности и брать на себя принятие решений! это в том числе и вопрос этики в их отношении к делу!) несёт ответственность за то, что насоветовал. При этом, конечно, часть идей тут предпринимательская: идеи даже инженеров всегда рисковые, и гарантий дать никто не может, а ещё в предпринимательстве "ограниченная ответственность на сумму вложений, а не на сумму советов", иначе в предприниматели бы вообще никто не шёл. И ещё эксперт как нормальный инженер должен предпринимать меры, чтобы его советы/предписания таки вели к изменениям в окружающем мире, иначе зачем советовать?! И ещё нужно учитывать, что работа эта обычно коллективна, и тут "роль инженера в проекте" примерно так же может обсуждаться, как "роль личности в истории" (да, от одного инженера многое зависит, но отнюдь не всё).
Этика нормативная наука, но она развивается так же, как любая другая, у неё есть SoTA
Ещё стоит вопрос с самой этикой: откуда она пришла в таком виде? Она меняется со временем? Да, меняется. С этикой всё то же самое, что и с любой наукой -- человеческое знание про этику растёт. Универсальной модели/объяснительной теории мира (включая модель/объяснительную теорию этики) нет, есть много конкурирующих неуниверсальных и вечная невязка этих моделей/объяснений с актуально происходящим в реальности. С этикой всё то же самое: к ней нужно относиться как к физике, постоянно развивающейся теории и регулярные смены парадигм (основополагающих объяснений, радикально новых догадок, как это всё нужно описывать).
Опять же, этика тут нормативная наука, которая задаёт некоторую цель, но эта цель тоже предмет обсуждения, как в любой науке — тут нужно читать https://plato.stanford.edu/entries/metaethics/ и там дальше https://plato.stanford.edu/entries/constructivism-metaethics/, и в целом про возникновении знания по морали https://plato.stanford.edu/entries/moral-epistemology/, но ещё это развитие этики как объяснительной теории (хотя и нормативной) у Дойча популярно и по-русски раскрывается в "Начале бесконечности".
Все эти вопросы связи этики и системного мышления, конечно, обсуждаются не в самой дисциплине системного мышления. Интеллект-стек большой, стек создания оказывается тоже немаленький. Не нужно считать, что это именно системное мышление главная дисциплина. Нет, системное отношение к миру просто означает SoTA способы выбора объектов внимания на разных системных уровнях, понимания, что этих уровней много и они могут выделяться разными способами, а на каждом уровне при этом строятся свои описания по дисциплинам разных предметных практик, исполняемых разными деятельностными ролями.
Так что этика вполне развивающаяся дисциплина. И тесно пересекающаяся с системным мышлением через вот эти самые фрустрации. И при системных рассуждениях этику выкидывать из рассмотрения нельзя ровно так же, как нельзя выкидывать рациональность/логику (тоже имеющую статус нормативной дисциплины, https://plato.stanford.edu/entries/logic-normative/). Мозг выключать нельзя, следование только логике, или только этике, или только системному мышлению, или только алгоритмике не поможет. Поможет задействование всего интеллект-стека, знание стека создания, плюс ещё и владение прикладными практиками. Если у вас есть этические проблемы в вашем конкретном проекте, то вам с этикой придётся разбираться на уровне более глубоком, чем кругозорный. И лучше бы вы разобрались.
Материалы по этике на русском в каком-то количестве есть вот тут: https://vk.com/reducing_suffering
UPDATE: обсуждение в https://www.facebook.com/groups/771940449578453/posts/4672110299561429/, в чате блога с https://t.me/ailev_blog_discussion/13839, чат поддержки курса системного мышления с https://t.me/systemsthinking_course/17698, фрифид с https://freefeed.net/ailev/40c02893-f41e-48e7-b050-996d15dd45d3
Источник: https://ailev.livejournal.com/1618585.html