Вот что написал LeCun 13 часов назад:
1- Long-termist AI ethicists: OMG, AI will destroy use because it’s too smart!
2- Short-termist AI ethicists: OMG AI will destroy society because it’s too stupid!

Both #1 and #2 underestimate human intelligence, learning abilities, and resilience.

Для меня большинство разговоров про риски экспериментов с текущими нейросетками, или наоборот, шикарными перспективами — это просто трёп в сетях. Вот Роман Левентов в своих репликах (с https://t.me/ailev_blog_discussion/18 497) в дискуссии к моему вчерашнему посту (https://ailev.livejournal.com/1 660 989.html) опирается на теорию (как минимум, работы Fields и Levin, но по факту его реплики затрагивают больше работ), и это читать сразу интересно, а остальные реплики я по большому счёту игнорирую, ибо там ничего нового или интересного, бытовая тревога.

Я и впрямь считаю, что про сегодняшние нейросетки нельзя разговаривать без учёта нескольких важных моментов:
-- многоуровневая эволюция. Нейросетки, кстати, не в самом низу. В самом низу работы типа работы по wormhole (передача кубитов через искажения пространства-времени, шаги к следующему поколению квантовых компьютеров) и интеловским с Cerebras и TSMC работам по продлению действия закона Мура. Karpathy уже твитнул How long until we measure wealth inequality in FLOPS (https://twitter.com/karpathy/status/1 600 012 576 825 360 384). Дальше, конечно, работа алгоритмистов AI, я бы её не недооценивал, и там тоже много направлений (повышение эффективности, explainable AI, few-shot learning, neurosymbolic computing, и просто улучшение обучению, например обучение алгоритмическим рассуждениям, дающее десятикратное снижение ошибок в LLM -- https://arxiv.org/abs/2211.9 066, и т. д.). Потом, конечно, сами нейросетки «в целом», что и обсуждается сегодня, но дальше я бы очень чётко обсуждал необязательность именно LLM в их текущем варианте как основной архитектуры. Вариантов архитектуры универсального аппроксиматора (нейросетка -- это именно он) может быть множество, так что оставим этот термин, но означать дальше он будет самое разное, а не «трансформерную архитектуру». После уровня этих универсальных аппроксиматоров (ага, нейросеток) идут полные когнитивные архитектуры (которые уже не нейросетки, а более сложные структуры с базами данных, интерфейсами, несколькими разными нейросетками), что по факту и выставляется сегодня как конечный продукт, но обсуждается-то только LLM в серединке (это как человека обсуждать, выпячивая его. Мало кто обращает внимание на то, что выше -- можно, конечно, это назвать «эко-системой нейросеток», но точнее -- это эко-система самых разных агентов, вот об этом пишут люди из active/embodied inference вот тут: https://arxiv.org/abs/2212.1 354. Скажем, миллион человек, которые помогают наладить GPT-4 своими вопросами (это ж элементарно: очень многие тестировщики тыкают сетку в её ошибки, такие реплики легко распознать и использовать для дообучения сетки, а тестировщиков за пять дней набрался миллион человек!). Дальше будет монетизация и использование. Дальше будут множество нейронных сеток и даже неважно, что они формально не будут иметь каналы обращения друг ко другу (хотя могут и иметь!), они обменяются информацией через тот же миллион человек.
-- замечание Левентова, что эти нейросетки вполне себе агенты и будут уменьшать неопределённость вокруг себя -- да, конечно, но я бы тут развил этот аргумент. По большому счёту, такими агентами выступают сейчас группы исследователей вокруг этих новых сеток. Эти группы выдают на-гора «результаты», повышающие вероятность их дальнейшего финансирования, уменьшают неопределённость своей судьбы. Для этого такие группы будут задействовать те же нейросетки для улучшения нейросеток (а как иначе? даже отдельные люди используют собственные мозги для усиления возможностей собственных мозгов, это ж ОК. Команда с нейросеткой будет использовать нейросетку для улучшения возможностей нейросетки, и быстро-быстро техно-эволюционировать эту сетку (тот же Karpathy уже говорит, что дело не во владении данными, а во владении движками данных -- кто быстрее будет модифицировать свои наборы данных для обучения сеток, тот и победит, https://twitter.com/karpathy/status/1 599 852 921 541 128 192, и таких циклов по «быстрее модифицировать алгоритмы сеток», «быстрее модифицировать бизнес-модели» будет множество, это ж всё варианты циклов Бойда: «будь быстрее своего окружения»). То есть нейросетки и инфраструктуру вокруг них (всяческие фильтрации выдачи публики того, что публике не нравится -- это ведь тоже способы продлить существование этих нейросеток во враждебном по определению мире, аргумент в пользу агентности) надо рассматривать как продолжение команд, выдающих сервис нейросетки наружу. И уже пошли эксплуатации этих команд, а не нейросеток: например, ChatGPT имеет строго ограниченный квант времени на один ответ, поэтому качество результата может быть ужасное, это ограничение поставлено бизнес-моделью (и его можно понять!), но вот предложили задавать несколько шагов получения решения, чтобы вытащить побольше квантов времени на одно решения -- https://twitter.com/stanislavfort/status/1 599 417 463 199 830 016.
-- Все эти самосознания и т. д. -- ну, люди в командах тоже вполне себе самоосознанны, и что толку. Так что системы создания нейросеток, длинные цепочки создания, а не только целевые системы и их сети -- это важный момент. И тут окажется, что важны не сами нейросетки, это просто детальки каких-то команд -- и надо задаться вопросом про целевые системы. Что создают эти команды с нейросетками, какие системы (то, что они создают клиентуру, так это совершенно очевидно. А вот какие надсистемы создаёт клиентура, что им нужны будут сервисы всё более умных нейросетей)?
-- то, что при текущем положении дел сеткам и командам как агентам нужно понять прежде всего людей, как их окружение -- это абсолютно понятно. То есть нейросети сейчас изучают не столько окружающий мир в целом, сколько людей и их поведение. Конечно, дальше нейросетки будут искусно манипулировать людьми, а как же! Это делает любая рекомендательная система: подстраиваться под вкусы, а затем плавненько менять вкусы в сторону, выгодную команде. Маркетинг! Без этого нейросетки не выживут, не будет ресурсов для развития изготавливающей их команды.

Итого: смотреть нужно не на нейросетки и их возможности как агентов, а на команды создателей нейросеток (и нейросетки как их часть), а также на окружение нейросеток (какие сервисы нейросеток будут использованы). И смотреть на много чего другого в этом плане (вон, Маск открыто говорит, что Твиттер для него -- это такая большая сеть мокрых нейросеток, «платформа всего»).

В текущей ситуации «без этих ужасных LLM» почитайте прессу: логики там тоже не стояло, все борцы за справедливость, все высоколобые интеллектуалы «с человеческой логикой, которой нет равных»! Команды, вооружённые нейросетками (тот же Твиттер, кстати, такая команда уже сейчас, равно как фейсбук, равно как ВКонтакте) тут ничего не изменят, назовут вас борцом за справедливость (вроде как вашу), объяснят на пальцах, что именно вам надо считать справедливым (то есть ваша справедливость станет незаметненько их предложенным вариантом, и вы согласитесь), расскажут, от чего беречь ваши мокрые нейросетки (от идей других борцов за справедливость, конечно! Там неправильная справедливость!). Их будет таких несколько команд (и счастье, если достаточно много, когда одна команда, то это диктатура, и она даже не будет стесняться говорить, что диктатура, будет говорить, что спасает что-то очень большое, если не планету, то нацию). Все команды говорить будут разное, утверждать свою научность и этическую безупречность. Говорить будут на уровне народных артистов в части художественности своих интонаций, народных художников в части качества оформления визуального ряда, лауреатов нобелевских премий по литературе по качеству текстов (впрочем, все эти звания уже давно потеряли своё начальное значение, их тоже уже дают «за политическую правду», а не за художественность). Они будут стараться цензурировать друг друга и во многом преуспеют. Отличие от людей-политиков только в том, что команды политиков через этих политиков говорят сразу с толпами унифицированно, а тут поговорят индивидуально с каждым, ресурсов хватит. По большому счёту, в плане войн и прочих идиотских разрушений «во имя высших целей» ничего не изменится, только «индивидуальный подход к каждому».

Всё быстро, очень рад смотреть это кино и даже как-то в нём участвовать. Я стараюсь в своих учебниках сейчас по-максимуму отражать образ мыслей, который позволяет обо всём этом хоть как-то рационально думать, хоть как-то понимать происходящее. Ибо кроме рвакли блогпостов ничего связного про это происходящее в учебных материалах нет, вот я и затыкаю дырку.

Пошёл писать главу про архитектуру предприятия, текст там про то, как правильно резать организацию на оргзвенья и как обеспечивать взаимодействие оргзвеньев (и я везде стараюсь писать про оргзвенья как «люди и внутренние команды людей», «люди и их компьютеры», «люди и их оборудование», «группы людей и их компьютеров», чтобы поддержать безмасштабность и убрать лишнюю антропность рассмотрений). Ещё лет пять эти учебники будут крайне полезными людям (а к концу этих пяти лет -- людям и компьютерам), а дальше поглядим.

UPDATE: разговор в чате блога -- с https://t.me/ailev_blog_discussion/18 502

Users who liked this: