Этика профессий «Двойного назначения»

В рамках домашних заданий к курсу «Системное саморазвитие» хотел бы подискутировать на больную для меня тему — индустрий «двойного назначения». Честно скажу, что очень тяжко эмоционально, и глава 11 как ни странно дала некий глоток свежего воздуха.

Весь мой трудовой путь связан с аэрокосмической отраслью. Традиционно очень политизированная отрасль, и вся насквозь «двойного назначения». Как у «нас», так и у «них». Шутка ли, из 400 миллиардов долларов всего космического рынка во всём мире, существует всего одна компания, которая существует на 100% на частные деньги (Уверен на 99,5% что вы не угадали какая). Все остальные так или иначе связаны с государственным заказом. Или в виде прямого заказа, или в виде ключевного клиента. Икона современной частной космонавтики — Илон Маск тоже не брезгует заказчиками из Пентагона.

Лучше всего, именно чувства, передаёт бородатый анекдот:

Хорошая профессия — пожарный: Сидишь, ничего не делаешь, получаешь за это деньги. Но как пожар, так хоть увольняйся.

Также и с космосом, при том, что всю жизнь работал бок о бок с государственным заказчиком, повседневно общаешься с военной приёмкой, но никогда особенно не задумывался что «второе» то назначение военное. Всегда в фокусе было «первое».

Надо сделать дисклеймер — над военными системами я никогда не работал. Весь мой опыт — это научные приборы для изучения дальнего космоса, а потом коммерческие спутники. В этом смысле мне никогда не приходилось делать «успешные» системы.

Но вот случается мировой катаклиЗм, и всё просто меняется на глазах. Строится огромная стена, и теперь там «они», а здесь «наши». С этой стороны забора деньги остаются только на «успешные» системы. А там нашу систему не дают использовать, потому что она «наша».

И вот встаёт моральный выбор: или окукливаться, распускать команду, ждать лучших «возможностей», или создавать «успешные» системы. Вот она «приземленная» ниже некуда дихотомия консеквенциональной этики и деонтологической этики.

Лично моя позиция тут в том, что если моими системами не убивают людей, их не используют для того чтобы убивать людей, их не используют для того, чтобы лишать людей свободы, то создание такой системы этично, даже на деньги государственного заказчика, который ведёт себя не этично.

Как говорят инвесторы — «неудачную ты отрасль выбрал». А я отвечу словами Константина Эдуардовича — «Планета есть колыбель разума, но нельзя вечно жить в колыбели». Когда нибудь человеки перестанут стучать друг-друга по голове погремушками. А чтобы оказаться в нужном месте в нужное время, приходится топтаться в нужном месте и ждать нужного времени.

Достаточно часто проблема в том, что ты сам тоже стейкхолдер, хотя бы в виде денег на пропитание. И если система двойного назначения “успешна”, то тебе есть на что купить хлеба.

Впрочем, есть у меня подозрение, что моё рассуждение выше прикрывает тот факт, что, связав жизнь с чем-то возможно неэтичным, создаёшь не совсем успешную личную систему. Она не успешна в том плане, что удовлетворяет ролевой интерес “покушать бы”, но не удовлетворяет ролевой интерес “улучшить мир”.

Достаточно часто проблема в том, что ты сам тоже стейкхолдер, хотя бы в виде денег на пропитание.
Ну, так мы, как системные деятели подругому системы и не рассматриваем. В системах, где ты не стейкхолдер и нет твоего интереса, нет и «шкуры на кону». В этом и есть эмоциональная трудность.
И если система двойного назначения «успешна», то тебе есть на что купить хлеба.
 Тут надо договориться всё же о терминах, чтобы понятно было что речь об одном и том же. Успешна та система, которая учитывает все интересы стейкхолдеров, уменьшает человеческие неудовлетворенности и/или увеличивает уровень счастья человечества. А «успешна» — если она этого не делает, или делает строго наоброт.

Вот несколько примеров, даже не из моей отрасли — система распознавания лиц в городе Москва. На одной стороне весов повышение безопасности, на другой злоупотребления в политических злоупотреблениях. С одной стороны, удобно просто через турникет проходить показав свои «лапы и хвост», а с другой все мои передвижения на ладони.

Возможность создать такую систему обычно дает тот стейкхолдер, который заинтересован во «втором» назначении, но пользу потом получают по «первому». Наверное, разрабочики могут отказаться от такой возможности и сделать распознавание для сети розничных магазинов. Где это «второе» назначение будет использовать торговая организация для пропаганды (Рекламных акций). Сложно сказать, я не очень в материале.

А вот где я в материале, это в своей аэрокосмической отрасли, где у тебя просто нет выбора других возможностей. Это лицензируемая отрасль. Можно отказаться работать напрямую с заказчиком в погонах, но опосредованно, право на твою деятельность сейчас рассматривается из «второго» назначения.

Владимир, спасибо за пост!
Ну, что Илон Маск весьма активно финансируется военными, для отслеживающих его деятельность и не имеющих эльфийских картин мира ясно) (или кто-то думает, что Старлинк прибыл на Украину ради обеспечения Интернета мирным жителям?)
Также нужно принять как данность физической реальности о том, что военное назначение существует и будет существовать, и сокращение этого существования возможно только при усилиях всех сторон на многих уровнях организации (агентечество – общество – сообщества – и так далее). Односторонние отказы ни к чему не приведут. Это все долго, сложно, но постепенно надо будет делать.

Дальше по поводу “двойного назначения”. У вас оно и не особо просматривается) мне ваши системы напоминают кухонные ножи. Тоже можно назвать “системами двойного назначения” (с натяжкой, но можно) – они же иногда используются в бытовых убийствах! Но большинство все-таки использует его для нарезки овощей/рыбы/мяса и прочих продуктов. А еще можно вспомнить историю появления (не) мирного атома.

В общем и целом, стоит понимать, что есть те, кто захочет использовать какие-то системы в не мирных целях, и “в лоб” вы это предотвратить не сможете. И не можете нести ответственность за решения этих агентов. Делайте что делаете, способствуйте по возможности появлению стимулов торговать, а не воевать – это лучший вклад в будущее)

Спасибо за столь жизненный вопрос. Попробую поделиться своими мыслями.
Возможно противоречие между этическими критериями создателями системы, надсистемы и систем окружения. Это создаёт риски для создания успешной системы, соответствующей лично вашим критериям этики. Из этого возникает вопрос - насколько вы уверены в дальнейшем использовании системы обеспечения, которые вы сейчас создаёте для своей целевой системы. Нет ли риска, что они станут системами обеспечения для целевой системы, которая будет в итоге противоречить вашим интересам?

Также вспоминается история из фильма “Работа без авторства”. В фильме один из второстепенных героев, незадолго до Второй мировой, под давлением жены и общества, вступил в партию, хотя это противоречило его убеждениям. По окончании войны, он безуспешно пытался найти работу, но везде получал отказ, поскольку никого не волновало по каким причинам он вступил в партию.

Эта история для меня служит напоминанием о том, что в подобных ситуациях долгосрочные последствия своих действий и выборов рассчитать особенно сложно. Говорят же, что интересов всегда на один больше, чем известно команде. Особенно сейчас, в стремительно меняющихся условиях.

Нет ли риска, что они станут системами обеспечения для целевой системы, которая будет в итоге противоречить вашим интересам?
Ну всё правильно, об этом же и Анна пишет. Если не делать систему, чтобы она не попала в плохие руки, то и ожидаемой пользы она не принесет. И тогда я не деятель, получается буду, а бездеятель.

Вот в этом и заключается вопрос. А возможно ли создать успешную систему в условиях реального рынка? Примеры из жизни показывают, что очень сложно. Тогда какие действия будут этичными?

Вот нужен какой-то формальный инструмент, чтобы об этом подумать. Первое что в голову приходит, можно осознанно не учитывать интересы «второго» назначения, тогда и пользоваться этой системой по этому назначению или будет невозможно или неудобно.

Спасибо за пост!
В сфере происходящих событий тоже задумывался над этим. До главы про этику я пока не добрался, но как человек некоторое время работавший не просто в сфере “двойного назначения”, но и непосредственно на военных хочу вставить “пять копеек”.

Дисклеймер: все люди разные и я рассуждаю только о себе и людях, с которыми работал лично.

Адекватные военные и связанные с ними люди - последние кто хотят пускать в ход свои ресурсы. Они лучше остальных понимают все связанные с этим проблемы и последствия. Не так-то легко сделать действие (нажать на кнопку/отдать приказ), гарантирующее гибель многих и многих людей (Кажется в фильме “Горячий снег” генерал объяснял почему нельзя иметь близкие отношения с солдатами.). У инженеров, если долго что-то не получается в сфере их деятельности одна из первых мыслей - “не богоугодное дело делаем”.

При этом нельзя забывать об обратной стороне медали. Концепция “взаимного уничтожения” фактически стала останавливать гонку вооружений и стала важным шагом на пути к переговорам о коллективной безопасности. Но такие переговоры возможны только когда силы примерно равны.

Со слабым не договариваются - слабому диктуют условия. К сожалению, именно этой вводной руководствуются “на самом верху”. Конфликт переходит в горячую стадию только тогда, когда каждая из сторон видит шансы на победу. В таком разрезе - работа инженеров этична, если приводит к уравниванию потенциалов и создаёт для обеих сторон риск неприемлемого ущерба. Никто не хочет, чтобы его рабочие продукты когда-либо пустили в ход.

Ну и ещё один момент - многие изобретения и достижения пришли из “военки”, т.к. туда направлется много ресурсов. То есть “двойное назначение” может играть и в обратную сторону.

Поддерживаю, что в целом вопрос очень сложный и маховик развития вооружений необходимо останавливать. Думаю, что вопрос упрётся в доверие или полную прозрачность.

На днях у Анатолия Игоревича была запись в его лабараторный журнал на похожую тематику. Залинкую: НОВЫЕ УМНЫЕ ТЕХНОЛОГИИ ИСПОЛЬЗОВАТЬ НЕЛЬЗЯ ЗАПРЕЩАТЬ!