Теория информации

Статьи
, ,
1

information.jpg801×330 91.1 KB

Информация и суперинформация

Понятизация работает с понятиями, которые стабилизируются как некоторые объекты для рассмотрения собранностью, семантика говорит, что мы можем описать эти ментальные представления какими-то символами/знаками, и что эти представления нельзя путать с представляемыми физическими объектами (и что если там много описаний описаний, то в конце такой цепочки всё равно будет описание физического мира, иначе трудно будет договориться).

Теперь нужно разобраться, как именно описания представляются в физическом мире, ибо даже математические объекты имеют описания, как-то представленные в физическом мире. Этим занимается теория информации.

Если отвлечься от содержания информации как представлений (representations, этим занимается семантика), а обсуждать вопросы формы её представления (presentation), то мы будем говорить о данных. Вообще, информационные объекты/документы (такие как книги, магнитные диски, флеш-память, рекламные плакаты) тем и отличаются от всяких других, что мы их рассматриваем дважды:

  • Как носители, которые содержат знаки, как физически определяемые объекты. Это представление/presentation информации, форма.
  • Как данные, которые содержат какие-то понятия/ментальные образы/математические объекты, обозначенные знаками. Это представление/representation знаками каких-то понятий.

В этом уже довольно сложном для «простых людей с улицы» понимании ещё и много пропущено. Чтобы знаки оказались данными, требуется устройство, которое их будет однозначно считывать (измерять характеристики физических объектов-носителей информации так, чтобы в них можно было определить знаки и копировать на носитель, который будет делать с ними дальнейшие операции). Эти данные должны считываться и копироваться однозначно (иначе при длинных цепочках преобразования данных мы будем получать неоднозначные результаты из-за накапливающихся ошибок чтения и копирования). Единица такого считывания-копирования — это бит, математический объект, принимающий значение ноль или единица.

Любой программист имеет интуитивное понимание того, что такое информация и как с ней работать. Но и у программистов начинаются сложности, когда речь заходит о квантовых компьютерах. Суперинформация — это когда измерить знак можно, но откопировать нельзя! И единицей информации является кубит, и (вспоминаем квантового кота Шрёдингера, который находится одновременно в состоянии живого и мёртвого) кубит, пока мы не измерили его значения, тоже одновременно представляет и ноль, и единицу.Универсальные вычислители/компьютеры

Дэвид Дойч в 1985 году доказал215, что квантовый компьютер является универсальным вычислителем/компьютером: то есть он может делать ровно такие же вычисления, как и классический универсальный компьютер, описанный Аланом Тьюрингом. А результат самого Тьюринга — что любые вычисления, которые может сделать математик с ручкой и бумажкой (если убрать ограничения на время и память, то есть число записей, которые может этот математик сделать) могут быть выполнены на так называемом «универсальном компьютере», и одной из простейших форм такого компьютера является машина Тьюринга. Разница только в объёме памяти, быстродействии и используемых приёмах вычисления.

Именно теория информации говорит, что люди (которые работают с цифровой/дискретной информацией, а не аналоговой — помним, что при аналоговых вычислениях быстро накапливаются ошибки в их длинных цепочках), классические компьютеры, квантовые компьютеры и многие и многие другие физические объекты-вычислители могут производить операции с информацией (и суперинформацией в случае квантовых компьютеров) и получать одни и те же результаты, если абстрагироваться от требуемых для этого времени, памяти и способа вычислений/алгоритма. Мышление как рассуждения интеллекта, прикладные рассуждения специалиста (в том числе прикладные рассуждения медведя, едущего на велосипеде — интеллект ему для этого не нужен, равно как и специалисту, занимающемуся решением задачи, которую уже известно как решать), рассуждения программы машинного интеллекта, исполняемой на классическом или даже суперкомпьютере, совместные вычисления человека и его компьютерного экзокортекса — всё это имеет одну природу. И не физика определяется математикой, а наоборот: математика определяется физикой в том плане, что математик — это физический объект, который может как-то отражать поведение математических объектов.

Так что мы выделяем особые классы физических объектов: носители информации/битов, носители суперинформации/кубитов и вычислители как физические объекты, имитирующие поведение идеальных/математических/понятийных/абстрактных объектов, представленных знаками на носителе.

Лучшая книжка, которая обо всём этом как-то внятно рассказывает — это вышедшая в мае 2021 года книга Chiara Marletto «The Science of Can and Can't: A Physicist's Journey through the Land of Counterfactuals»216

587×878 294 KB

Эта книжка полезна не только для понимания идей теории информации, она также касается и других трансдисциплин интеллект-стека, прежде всего логики, объяснений, исследований. Часто все эти разные учения/трансдисциплины объединяют под названием «эпистемология», имея в виду объяснения того, как устроено научное познание мира. Если добавить художественное и религиозное познание мира, то это уже будет гносеология. Но теория информации и физичность носителей знания и вычислителей/мыслителей (включая людей, включая компьютеры, включая квантовые компьютеры и иные вычислители, в том числе используемые для рассуждений, в том числе используемые для мышления/познания) как ограничение на познание обычно эпистемологами не рассматривается, так что сегодня приходится пересобирать традиционные дисциплины, отказываться от веками произносящихся слов с греческими корнями.

И помним, что согласно идеям extended mind и extended cognition мы от операций просто с информацией (вычислений) переходим к ещё и к воспринятию ситуаций (датчики на вычислителе) и действиям в окружении (актуаторы/эффекторы на вычислителе). В любом случае, вычисления и физический мир оказываются связанными, при этом физический мир (физичность вычислений) оказывается важней. Не вычисления и их возможность определяют физический мир (Дойч называет эти идеи «поиском компьютера в небе», например, это модные в 2021 году идеи Stephen Wolfram в его проекте по поиску фундаментальных идей в физике на основе предлагаемых им математических идей217), а физический мир определяет вычислимость или невычислимость каких-то значений, решаемость или неразрешимость каких-то проблем. Вычислители физичны!

Вообще, физичность некоторых объектов, важных для мышления, нужно обсуждать отдельно. Например, физична ли «вероятность»? Этот вопрос важен для того, чтобы суметь построить квантовый компьютер. Основной единицей хранения информации там является реализуемый или ином, или атомом, или фотоном кубит: узнать значение его можно измерением, но при этом нельзя откопировать это значение (чем кубит и отличается от бита)! И дальше можно задаться вопросом: а само это значение имеет вероятностную физическую природу, то есть случайно, или всё-таки оно строго предопределено, но вероятность возникает как способ наших рассуждений о том, как устроен квантовый мир? David Deutsch и Wallace развили (при этом до конца они так и не договорились218) на базе высказанного David Lewis principal principle как «человек/агент верит в реальность в соответствии с шансами»219 так называемый decision argument. Оказывается, вероятность нужна людям как концепт/понятие, на основе которого можно принять какое-то решение и действовать! А в самой физике «без людей», которым на основе измерений нужно что-то делать, вероятностей нет, там всё предопределено/детерменировано, никакого «случая из вакуума». Серия измерений кубита даёт разные результаты, но эти результаты не определены «случаем»! Вероятность не имеет физического смысла! Далее Chiara Marletto выпускает пару работ, где она «выводит из физичности» как теорию информации (это она делает совместно с Дойчем)220, так и теорию вероятностей221.

Вышедшая в 2021 году книга Marletto пересказывает эти идеи более-менее простым языком. Но все эти события начались вроде как давно, в 1985 году, когда Дойч показал то, что квантовый компьютер — это универсальный компьютер. Но основные идеи новой SoTA теории информации как физического основания для алгоритмики, включающие в себя квантовые вычисления, появились за последние десять лет. Учитывая, что интеллект — это вычислитель, то или мы как-то понимаем самые общие принципы того, как математические/абстрактные/ментальные объекты представляются в мозге, классическом компьютере, бумажной книге, квантовом компьютере, или вынуждены считать компьютер и мозг шайтан-машинами, которые абсолютно непохожи ни в каком смысле, и дальше честно верим в чудеса типа «чтения информации из Космоса» или влияние неизвестных науке сил на работу мозга гадалок, магов, астрологов.

Кодирование и сжатие информации

Теория информации занимается ещё одной проблемой: кодированием информации (какие знаки какие концепты обозначают по каким правилам, включая аспект безошибочности за счёт избыточности в использовании знаков. Если через компьютерную память пройдёт космическая частица и изменит содержимое её ячейки, то ничего не изменится: информации в соседних ячейках хватит, чтобы заметить и исправить эту ошибку). Фильтрация шума: если канал связи привносит шум, то можно этот шум отфильтровать за счёт той же избыточности. Сжатие информации: все эти .mp3 и .jpg файлы как раз приложения теории информации.

Каким образом мы храним данные, чтобы несмотря на неизбежные ошибки из-за несовершенства материалов и неизбежных изменений в физических устройствах хранения и физических каналах передачи информации быть уверенными в отсутствии ошибок? Какой объем дополнительной памяти нужен, чтобы обеспечить эту безошибочность? Как быстро мы можем передать информацию по каналу связи с заданной пропускной способностью и известным уровнем помех? Этим занимается классическая теория информации, связываемая обычно с именем Клода Шеннона222. Он первым предложил описание систем связи с математической стороны, задействовал это описание в криптографии. Он первым предложил считать канал связи множеством всевозможных шумов, а источник сообщений множеством всех возможных сообщений. И именно он предложил бит как единицу измерения информации, это всё было в 1948 году.

В интеллект-стеке предполагается, что теория информации — это отнюдь не криптографическая, не сугубо «айтишная» прикладная дисциплина, а важная трансдисциплина, имеющая самые неожиданные применения в самых неожиданных предметных областях.

Например, игрок на каком музыкальном инструменте более эффективен? Который может передать своему инструменту за один раз максимальный поток информации! Например, клавишник, играющий на синтезаторе передаёт при аккордовой игре с нюансами явно больше информации, чем играющие на многих других инструментах — и это не последняя причина, по которой многие композиторы, изучавшие в консерватории «общее фортепиано» отказываются от приглашения больших оркестров для записи своих произведений и справляются, задействуя клавишный синтезатор. Ещё вопрос: откажутся ли люди от хорошей клавиатуры как средства ввода, если мы видим резкий взлёт голосовых интерфейсов? Ответ: нет, не откажутся, ибо скорость диктовки оказывается меньше, чем скорость набора на клавиатуре при большем числе ошибок (и уж точно исправлять ошибки голосом дольше, чем исправлять ошибки набора на клавиатуре: навигация по тексту голосом долгая, навигация клавишами или мышью или даже пальцем — быстрая). В конечном итоге речь идёт о битах в секунду для переданного текста с исправленными ошибками.

Для всех этих рассуждений было бы достаточно теории информации Шеннона, давностью три четверти века. Более того, этой теории было достаточно, чтобы умершего в 1914 году логика Charles Sanders Pierce223 назвали отцом теории информации в семиотике. Семантика из интеллект-стека как раз остаток от семиотики (туда ещё входили синтаксис, который оказался неинтересным и прагматика, которая начала формулироваться совсем по-другому), которая по факту исчезла как живая наука вместе с кибернетикой ещё в прошлом веке. Но и информацию в сообщениях людей стали рассматривать точно так же:

  • Мы должны как-то кодировать сообщение/информацию, например, словами. Или танцем. Или выражением лица. Или выбором слов (скажем, написав сообщение канцеляритом).
  • Мы должны затем как-то передать сообщение/информацию через какой-то канал передачи. Например, собрать пресс-конференцию (если на неё кто-нибудь придёт!) и потом ожидать, что люди прочтут её во многих СМИ. Или послать одному человеку исчезающее личное сообщение через мессенджер. Или сделать спамовую рассылку. Или выйти на улицу с плакатом (и потом ожидать, что фото этого плаката разойдётся в социальных сетях). Или по-старинке позвонить по телефону и сказать что-то голосом. Или сесть в метро, приехать к собеседнику и сказать сообщение голосом прямо в уши, без технических средств.
  • Затем собеседник должен будет как-то обработать эту информацию (принять к сведению, что-то сделать, запросить уточнение, сообщить о том, что ничего не понял, проигнорировать).

Всё это в подробностях рассматривается в самых разных других трансдисциплинах: редкость ресурса канала связи и вычислительного ресурса для кодирования/декодирования учитывается в алгоритмике, как использовать информацию, чтобы убедить получателя что-то сделать рассматривается в риторике. Но вот сама идея о том, что идеи/понятия, выраженные в каких-то знаках нужно а) выразить в знаках/закодировать, так, чтобы можно было потом прочесть б) куда-то передать без ошибок, в) декодировать, чтобы получить представление, какие там у этих знаков означаемые — и что всё это связано с использованием каких-то физических носителей информации и физических вычислителей разной природы, это всё теория информации.

Что произошло в последние пять лет в теории информации? Глубокие нейронные сети оказались неплохой памятью, они отлично кодируют и декодируют информацию. Настолько хорошо, что можно говорить о революции в тех технологиях, в которых они используются.

Не хочется, чтобы вы думали о теории информации как о чисто айтишной дисциплине. Вот пример рассуждения, в котором показано, как это работает:

  • Антон хочет сходить пообедать с Юлей
  • Он пишет своему чат-боту: пригласи Юлю сегодня на обед где обычно.
  • Чат-бот Антона сверяется с календарём, где отмечены текущие занятости Антона, находит, что обедать можно будет с 15 часов, бронирует это время, и пишет чат-боту Юли: «Глубокоуважаемая Юлия! Я хотел бы пригласить вас пообедать в кафе «Плутон» с 15 до 16 часов сегодня, 21 мартобря 202X года. Надеюсь на ваше согласие, Антон.».
  • Чат-бот Юли получает это сообщение, фильтрует, сверяется с календарём и пишет Юле: «Антон хочет с тобой пообедать через час, где обычно, это время пока свободно»
  • Юля пишет своему чат-боту: «ОК».
  • Чат бот Юлии делает отметку в календаре Юлии и пишет чат-боту Антона: «Глубокоуважаемый Антон! Мы рассмотрели ваше сообщение и нашли, что будем рады его принять. Ждите меня в кафе «Плутон» с 15 до 16 часов сегодня, 21 мартобря 202X года. До скорой встречи, Юлия.
  • Чат-бот Антона читает сообщение чат-бота Юлии и пишет Антону: «Юля на обед придёт»

А сами вы как общаетесь, если без чат-ботов? Можно ли как-то поджать информацию в ваших сообщениях, или вы сами себе такой говорливый чат-бот?

Почему «взлетел» твиттер, где длина сообщения была ограничена 140 символами? Потому как он заставлял людей думать, чтобы сообщения были более содержательными, в них не было лишней воды. И до сих пор президенты и владельцы бизнесов пишут в твиттер, а не в фейсбук, где они могут писать более свободно, более пространно. Но нет, они предпочитают использовать больше вычислительной мощности своего мозга для кодирования, нежели задействовать более широкий канал передачи.

Теория информации имеет значение, мышление (включая коммуникацию между мыслителями при коллективном мышлении) существенно опирается на её положения.Mark as completed. Go to "Теория понятий"

Источник: книга А. Левенчука «Образование для образованных 2021».

1 лайк
2

“Суперинформация — это когда измерить знак можно, но откопировать нельзя!”

это неправильно!
“No-cloning theorem” == нельзя копировать неизвестное квантовое состояние.
но его можно “телепортировать” - то есть уничтожить в одним месте и воспроизвести в другом. В терминах программирования - copy команды нет, есть только move.
Насчет измерения - измерить полное квантовое состояние невозможно. Измерение уничтожает квантовое состояние и выдает только частичную информацию.

3

A physical system is capable of carrying information if it has these two counterfactual properties:

  1. It can be set to any of at least two states. (The flip operation is
    possible, under the laws of physics.)
  2. Each of those states can be copied. (The copy operation is possible,
    under the laws of physics.)

One of the most striking properties of information media is that in that regard they are all interchangeable, because information can be copied from one to the other irrespective of their physical details. I shall call this property—the possibility to copy information from any information medium to any other —interoperability. For example, the information in a bit can be copied into any
other bit irrespective of what physical system it is—a transistor, an arrow, a coin,
or a switch.

A quantum information medium is a system with the following counterfactual properties:

  1. It has at least two information variables (such as P and PS) that are impossible to copy simultaneously to arbitrarily high accuracy (non-copiability of information variables).
  2. It must be possible to reverse all the transformations involving these variables (reversibility).

Это я навскидку из книжки Chiara Marletto “The Science of Can and Can’t”, 2021

У меня как раз говорится, что квантовый знак нельзя копировать, но измерить (узнать, что там – телепортировать, обратить и так далее) можно. В любом случае, обсуждается операция копирования против самых разных других операций. Квантовую информацию копировать нельзя, но можно делать с ней разные другие трюки.

Ещё я бы заметил, что книжка “Образование для образованных 2021” давно устарела, часть про стратегирование из неё ушла в “Системный менеджмент”, а часть про изменения в интеллект-стеке – в “Интеллект-стек”. Другое дело, что она “написана легко, читается как роман”, поэтому её до сих пор любят )))