У учителей теперь длинные автоматизированные уши -- это хорошо или плохо?
"И у стен бывают уши" надо понимать теперь буквально. В Екатеринбурге идёт эксперимент: нейросети внимательно слушают разговоры школьников, и далее шлют письма администрации школы, если услышат что-то подозрительное. Вот видео обсуждения эксперимента с авторами системы умной прослушки, директором экспериментальной школы, представителями родителей -- https://www.youtube.com/watch?v=6uoz-hfUDNg (30 марта 2022). Это ж тотальная слежка! Ага, из лучших побуждений. Ищут, конечно, не по ключевому слову "бомба". Хотя ничего не мешает искать и "бомбу", при этом научить отслеживать цитирование речи родителей (и любых других взрослых, даже самих учителей) в речах детей, и даже не всех детей, а кого-то конкретного (распознавать детей по голосам -- это ж раз плюнуть, давно работает!). Формально это всё на благие цели: прежде всего буллинг, насилие в детской среде. Педагогов-воспитателей на отслеживание всех коммуникаций детей не хватит, а это просто продолжение ушей педагогов, типа очков -- чтобы видеть, как кто-то больно тыкает острым локтем бок соседа на задней парте. А что такого? Ну, во Франции (пример из подзамочного треда по обсуждению этого екатеринбургского эксперимента) камеры в школах автоматом отслеживают детей, которые не носят маску. Хотя это не всем родителям нравится, но чьи камеры -- того и "нравится", а остальные могут в такую школу не ходить, если найдут где другую школу.
Я вот год назад писал, что в Китае Canon не пускает в офисы людей, которые не показывают в камеры улыбку (https://ailev.livejournal.com/1571890.html):
Любимый пример закона Гены Лебедева -- это сажать всех женщин, которые не улыбаются на улице, в кутузку. В случае закона это да, перебор. Но в случае корпоративного регламента -- если вы не улыбаетесь, то кое-где вас уже не пустят в офис, а AI отследит выполнение регламента. Например, в Китае вас не пустят в офис Canon, если вы не улыбаетесь: https://www.theverge.com/2021/6/17/22538160/ai-camera-smile-recognition-office-workers-china-canon. Называется это все IoB, internet of behavior, свежайший тренд -- хотя иногда это и называют surveillence, слежкой. Ну типа как если мы для блага потребителя за ним следим, так мы разведчики из IoB, а если за сотрудниками для блага компании, то следаки из корпоративной слежки, а если за сотрудниками для блага потребителя, то сами придумайте, как это называть! При этом каждая камера скоро получит функции IoB, ибо не передавать же весь видеопоток в офис! Вот тут предлагаются новые AI-видеочипы на 5нм проектных нормах для автономизации AI в 4K камерах, среди применений сразу указывают "выделить нужного человека в толпе", "выделить нужный автомобиль в потоке по его номерному знаку" без обращения к датацентру, но понятно, что этим не ограничится: https://venturebeat.com/2021/06/21/ambarella-unveils-two-new-ai-chip-families-for-4k-security-cameras/
Мне тут откомментировали, что совершенно восхитительно и очень уместно звучит сокращение: IoB!
Эта история продолжается. Так, в Москве уже с октября 2021 года работает доступ в метро по распознаванию лица, и там всё давно работает, было бы ваше желание: https://facepay.mosmetro.ru/. При этом камеры на вас всё равно посмотрят, торгуете ли вы лицом, или карточкой (оплата прикладыванием телефона вдруг перестала работать -- хотя телефон вроде бы ваш, ан не совсем оказался ваш!). Да, весь метрополитен оказался одной огромной системой слежки, основанной на новейших технологиях распознавания изображений, но должны ли мы на этом основании отказываться от "торговли лицом"? Вот тут несколько слов на эту тему от разработчика технологии распознавания лиц: https://hightech.fm/2022/03/28/ai-pay-fright.
Технологии нейтральны в смысле добра и зла, но их вполне можно использовать во зло
Технологии нейтральны. Но даже вилку можно использовать не для того, чтобы протыкать котлету на тарелке, а чтобы протыкать бок соседу -- или даже сразу глаз, если есть соответствующая подготовка. Впрочем, и ложку можно использовать, только ручкой можно перевернуть. Ручку можно заточить! Так что ложки -- это сырьё для холодного оружия, точно так же, как селитра не удобрение, а сырьё для дымного пороха, а древесина (из щепы варят целлюлозу, которую потом обрабатывают серной и азотной кислотой и тем самым получают пироксилин) является сырьём для бездымного пороха! Да и человек тоже -- добрый-то он добрый, гражданский-то он гражданский, но солдаты и прочие силовики получаются именно из людей. Поэтому вопрос про "использование во зло" при создании можно ставить только тогда, когда дизайн системы и впрямь главной функцией имеет цель простое и лёгкое убийство, например не термоядерную бомбу для создания подземных газохранилищ, а атомную бомбу с авиационной доставкой к месту массовых скоплений людей. И там уж надо смотреть: проблема в неправильном военном использовании плутония, или таки в создании самой бомбы, а плутоний тут как вилка и ложка, "двойного назначения", ибо может быть использован и для создания двигателя ракеты, которая полетит осваивать Марс, спасая человечество.
Когда мы попадаем в 21 век, то вопрос о добре и зле в интернет-вещизме становится ребром: всё компьютерное превращается в "двойное назначение" не хуже, а часто и много лучше вилки, которой можно ткнуть в бок или глаз. Об этом я писал, в частности в "Мойдодыр и политическая технология интернет-вещизма", https://ailev.livejournal.com/1106188.html (это я писал в 2014 году):
если уже сейчас Apple и NSA управляют содержимым вашего iPhone, то сценарий Мойдодыра уже начал реализовываться "и подушка, как лягушка, ускакала от меня. Я за свечку -- свечка в печку. Я за книжку -- та бежать". Ибо всё вещи уже давно в интернете вещей, и им была команда [силовиков, домовладельца, производителя подушки, местных властей -- добавить по вкусу и нужное подчеркнуть]. Прецеденты удаления книжек (и приложений -- те же "умные книжки") из телефонов уже были, дальше пойдут свечки и подушки. Рубашки в интернете вещей (в том числе экзоскелеты) будут ещё опасней, ибо вмиг по чьей-то команде (и вряд ли её выдаст владелец рубашки) они могут стать смирительными рубашками. Дальше принято рассказывать, что совсем необязательно эти решения по управлению вещами будут принимать люди. Их будут принимать Мойдодыры из интернета вещей: "Вдруг из маминой из спальни, кривоногий и хромой, выбегает умывальник и качает головой: "Ах ты, гадкий, ах ты, грязный, неумытый поросёнок!". Далее умывальник раздаёт необходимые команды другим вещам из своего окружения, и... "ты попал, ничего личного" (ибо в этом случае и личности-то нет).
Я согласен с тем, что традиционные представления о власти и её осуществлении, а также представления о законности будут стремительно меняться.
Ситуация с интернетом вещей отличается только тем, что а) информационные технологии выходят в физический мир, правительственные и не только правительственные агентства делают закладки и вирусы не только на ваши телефоны и компьютеры, но и в контроллеры управления центрифугами (я имею ввиду необязательно Stuxnet, ваша стиральная машина ведь тоже будет в интернете вещей), б) появляются технологии Big Data, которые помогут узнать про ваши действия и привычки даже то, что вы и сами не знаете -- используя при этом данные не только те, которые вы сами о себе сообщаете, но и которые собирают о вас ваши и не ваши вещи. Про "в) программы становятся сами себе агентами в философском смысле этого слова, умнея на глазах", я не то чтобы молчу, но это предмет отдельного и специального разговора.
Робототехника (длинно писать, проще -- роботика), нейронет, интернет вещей, искусственный интеллект и даже цифровые финансы (типа Bitcoin) -- это всё очень близкие предметы, пальцы одной руки. Рука эта -- рука Мойдодыра, и сожмётся ли она на вашем горле будет определять тот, кто будет определять "кто такие грязнули". Философы надеются, что это будут они. Ну-ну.
Удивительно, но стремительно реализуется сюжет про страж-птицу (хотя это будет такая немного распределённая и многоликая страж-птица): https://ru.wikipedia.org/wiki/Страж-птица
Итак, в окружающей природе появляется много-много мозгов ("искусственные интеллекты"), которые делают что-то доброе, но потом злые дяди промывают им мозги -- и добрые устройства становятся злыми. Это даже необязательно устройства. Скажем, у вас открыт счёт на какой-то бирже, а потом владельцы биржи решили, что вы из неправильного широкого класса людей: у вас неверный цвет кожи, цвет волос, гендер, пол, вероисповедание, цвет флага страны, где живут ваши родители, и по инерции где живёте вы -- и бах, плакали ваши денежки. Биржа объявляет себя благородным разбойником Робин-Гудом, её софт грабит вас на основании этого критерия -- а деньги отдаёт бедным (вариант: людям с правильным цветом кожи, цветом волос, гендером, полом, вероисповеданием, цветом флага страны, которая на этот момент владельцем софта считается правильной для этих целей).
Усложняем ситуацию: софт сам принимает решение, это ж страж-птица! И мирная якобы технология начинает вас душить, да ещё и никто из людей об этом не знает! Приглядишься -- это ж SkyNet, злобный AI, который сам себе хозяин! С ним-то что делать?
Что делать, если технологии используют во зло?! А если сами технологии (AGI) стали злом?!
Рецепт в этих войнах оказывается тот же, что и всегда: бог на стороне больших батальонов. Зарвавшегося злобного человека на уровне личности быстро осадят его коллеги, зарвавшийся злобный коллектив тоже будет остановлен многочисленными его мирными "коллегами" (насколько можно коллективы считать агентами и использовать слова типа "коллеги", намекая на их существование в одном сообществе, одном обществе). И даже если у какого-то общества вдруг оказались промыты мозги и у них временное большинство на своей территории, другие общества при их злобных вылазках на планетарном масштабе быстро (в историческом масштабе) настучат этому обществу по мозгам -- империи, знаете ли, распадаются. Вот с AI та же история: против злобного AI (даже с учётом того, что у него всё в порядке с 4E, то есть у него embodied, embedded, extended и enactive cognition) начинают играть вычислительные, сенсорные и актуаторные возможности огромного числа других интеллектов, и естественных, и искусственных. И бог оказывается на стороне этих батальонов: злобный AI эту войну проигрывает. Унасекомливание зла на каком-то системном уровне идёт со стороны более высокого уровня, проявляющегося в чём-то типа иммунной системы. Всегда есть злые паразиты, которые пытаются проэксплуатировать окружение (исследования по эволюции показывают, что без паразитов эволюция не бывает!), и всегда появляется что-то типа иммунной системы -- знания о том, как выглядит зло, и знания о том, как это зло побороть, и носителей этого знания как агентов иммунной системы. Не без эксцессов по части аутоиммунных реакций, "полиция, которая из иммунной системы для добра становится проблемой, носителем зла". И все эти технологии прослушки, которые запросто становятся злом. Это, оказывается, неизбежно! Но и аутоиммунные заболевания лечат! Надо просто знать как.
Можно ли всё-таки обойтись без этих проблем? Ответ: нет, эти все проблемы обязательны, если у нас не стабилизец, а продолжающаяся эволюция. В эволюции, как многоуровневой оптимизации, фрустрации между системными уровнями есть всегда, см. работу https://arxiv.org/abs/2110.14602 и текст https://trv-science.ru/2022/03/vsya-nasha-zhizn-zadachi-po-optimizacii/. Но дальше или у вас есть знания, и вы решаете оптимизационную многоуровневую задачу вычислениями (находите решение без войны, проводите консультации и разъяснительную работу на многих системных уровнях), или пытаетесь выполнить эту оптимизацию в жизни путём силового решения -- "оптимизируете на себя". И тогда вся эта многоуровневая эволюционная конструкция земной цивилизации или говорит "ОК, и впрямь попали в оптимум" и отвлекается на решение других задач, или вся эта конструкция говорит: "ой, что это!" и вы оказываетесь один на один с эволюцией -- и большие батальоны теперь не вы, а все против вас.
Сколько системных уровней в этом будут участвовать? А все: вещество-существо-личность-коллектив-сообщество-общество-человечество. Мы ж выделяем сущности в этих уровнях исключительно своим вниманием (а куда направлять внимание норовим записать в какие-нибудь законы), но работают-то они все одновременно, куда это внимание ни направляй! И этика оказывается чуть более сложной дисциплиной, чем её пытаются представить, "Этика и системное мышление", https://ailev.livejournal.com/1618585.html. Как и инженерия не является практикой релятивистской, где "делай что хочешь" (это или не будет профинансировано, или даже профинансированный проект закроют по совокупности разных организованных внешними проектными ролями причин, или законы физики не дадут сработать, или просто знаний не хватит сделать что-то работающее), так и этика на многих уровнях не является практикой релятивистской, где "всё относительно, поэтому буду принимать решения, мне выгодные". Нет, решения принимаются просто более сложным образом, с учётом проблем многих уровней, а не одного. Знаний об этике сегодня явно не хватает, и нужно и исследования, чтобы этих знаний стало больше и обучение результатам этих исследований многих и многих людей, чтобы мир стал этичней.
Если не уметь договариваться, то придётся воевать. Поэтому исследуем как договариваться и учим людей результатам исследований
Самое безопасное для решения проблем -- договариваться, и демократия на уровне обществ и сообществ очень кривой способ, но получше других (вот подробней про демократию, текст недельной давности: https://ailev.livejournal.com/1616855.html).
Второй по безопасности способ -- это когда не договорились, и поэтому будет работать квазисиловое решение: люди останутся целы и невредимы, а сила жахнет только по коллективам-сообществам-обществу. Ну, пересоберутся эти же люди в другие общности, никто ведь не помер, невелика потеря: не будет фирмы, или сообщества, или даже страны, но люди-то останутся целыми, живыми и невредимыми! Лучше недовольный живой человек, чем он же недовольный, но ещё и мёртвый.
Самое опасное -- если вместо промывки мозгов на предмет устройства общественной жизни (границы стран, на каком языке говорить, какие деньги считать деньгами, отношение к частной собственности и прочая "политика") эти мозги начнут выключать физически, вместе с телами. Горячая война, ага. Она происходит только от недостатка знаний, других причин нет. Если бы были знания, как договориться, то договаривались бы.
Я лично считаю, что какие-то знания на эту тему "как решить сложные этические проблемы и договориться выполнить решение без насильственного принуждения и военных действий" уже есть, но они доступны только профессионалам (а хоть и тем же конфликтологам), обычным людям (включая чиновников, включая политиков) они банально неизвестны. Но многих этих знаний ещё нет в природе, для их получения нужны соответствующие исследования.
Для результативных исследований нужно, чтобы ими занимались много людей -- на них было потрачено много вычислений, много мозго-дней (и много дней работы многих компьютеров, люди в 21 веке думают не голыми мозгами). Исследования -- это эволюция, то есть выдвижение догадок и их критика. Вот для выдвижения догадок и критики их нужно много вычислительных ресурсов. Не любая идея сразу должна идти в дело, а только SoTA, лучшие из догадок, которые сумели выстоять в обсуждениях. Это сразу означает ещё и отсутствие цензуры, чтобы не заглушать как выдвижение (обязательно поначалу кажущихся безумными) идей, так и их критику (которая поначалу тоже может казаться безумной).
Проблема в том, что по мере развития цивилизации будут возникать новые фрустрации, новые проблемы -- и старых знаний о том, как не поубивать друг друга из-за этих новых проблем будет не хватать. SoTA постоянно меняется. Мелкая, но плохо понятная, новая проблема может легко оказаться поводом для немаленькой такой такой гражданской войны (я при этом считаю, что все войны гражданские: живём на одной планете, границы все временные, что хорошо показывает история, поэтому мы все граждане планеты и войны идут при заведомо временных государственных границах, история это хорошо иллюстрирует -- https://www.youtube.com/watch?v=nTFxMH5KuJs, и непонятно, почему вдруг в 2022 году что-то тут изменилось).
И читайте фантастическую литературу, там много написано про то, как войны возникают из-за пустяков, типа войн (горячих! ибо как решить вопрос мирно -- неизвестно! и это "дело чести" -- силовое решение!) между тупоконечниками и остроконечниками. Так что программа исследований по предотвращению насилия -- она вечная, всегда будет что исследовать на эту тему, и даже через сто лет.
А потом нужно учить людей, и учить компьютеры результатам этих исследований (вот тут про то, что учить нужно xGI, и естественные интеллекты, и искусственные -- "Онтологический статус интеллект-стека: мы не устраняем inductive bias, мы приветствуем его!", https://ailev.livejournal.com/1598826.html ; "Инженерия и исследования xGI: учитесь сами, чтобы научить и людей, и нежить", https://ailev.livejournal.com/1600567.html ; "Мои претензии в xGI: я не натуральное хозяйство, я участник разделения труда", https://ailev.livejournal.com/1600861.html ). Тут тоже можно заметить, что обучение будет тоже вечным: дети и новые компьютеры будут узнавать результаты этих исследований впервые, их нужно будет учить с нуля. А взрослые и уже давно работающие компьютеры придётся переучивать, "менять прошивку": исследования-то не останавливаются, поэтому нужно будет учить новым способам решения проблем.
Итого:
-- технологии должны развиваться, добра от них всё равно больше, чем зла
-- злые люди и компьютеры в конечном итоге, которые используют технологии во зло, после краткого силового преимущества будут обезврежены незлыми, просто потому, что незлых больше, "бог всегда на стороне больших батальонов". Что такое зло и не зло -- это вопрос этический, без многоуровневой (системной) этики разобраться будет нельзя. Обезвреживание всегда будет идти со стороны более высокого системного уровня (зарвавшееся общество страны или даже группы стран остановит человечество, зарвавшуюся фирму остановит сообщество, зарвавшегося человека могут остановить и просто соседи)
-- насилие (впрочем, и ненасильственная смерть тоже), в том числе из-за новых технологий, происходит только из-за того, что нет знаний не только по этике, но и как договариваться (демократия -- это один из способов такой договорки по-крупному, но в современной демократии отнюдь не все вопросы решены. Крови проливается при демократических передоговариваниях чуток поменьше, чем при передоговариваниях другим способом). Договариваться нужно будет всегда, ибо фрустрации/противоречия в целях между системными уровнями вполне себе физичны, так что проблемы всегда будут.
-- чтобы добыть знания о том, как жить без решения неизбежных проблем насилием, нужно проводить специальные исследования -- и по этике, и по конфликтологии, и по политике, этого знания постоянно будет не хватать, и эти исследования нужно вести бесконечно.
-- по итогам исследований нужно учить (непрерывно рождаются новые люди и компьютеры, которые ничего этого не знают), а потом и постоянно переучивать (идут же исследования, и постоянно появляются новые знания) этике, политике, конфликтологии, логике массы людей и компьютеров, без этого в мире насилия меньше не станет.
Источник: https://ailev.livejournal.com/1621007.html