Мой обзор литературы по SoTA в эпистемологии — разные представляющиеся мне интересными новации уже 21 века. Учим людей современной онтологике (логике в части формального и не слишком формального вывода, эпистемологии, онтологии) и следим, чтобы речь шла не об изучении истории онтологики, а об изучении SoTA практического знания. И уже потом можно что-то обсуждать в рамках разных "дискуссий о [научном] методе": о роли математики и computer science в современном познании, о разнице подходов неоклассики и австрийской школы экономики, о шансах constructor theory в физике и прочих подобных интересных вещах. Эпистемология, как осетрина: если не первой свежести -- не эпистемология. В посте стена текста и куча ссылок (главным образом на arxiv, работы последней пары лет). Там я смотрю не столько работы эпистемологов по классической социологической линии Куна-Латура-Лакатоса, сколько по бездушной линии Поппера-Дойча с выходом на работы по AI.
Эпистемологию я считаю входящей в онтологику, которую понимаю как логику, которая была до Frege. Вот что пишет на эту тему John Sowa на эту тему (https://groups.google.com/g/ontolog-forum/c/xwFwCa0j8qI/m/iufObRmbAAAJ):
- The three kinds of value judgments are Beauty, Goodness, and Truth. They determine the three kinds of normative science: Aesthetics, Ethics, and Normative logic. Peirce equated normative logic with logic as semiotic. But all sciences, including the normative sciences, depend on mathematics and mathematical logic (AKA formal logic).
- All empirical sciences, including the normative sciences, depend on phenomenology for the analysis and interpretation of perception. The three parts of normative logic (AKA logic as semiotic) are (1) Critic, which is formal logic; (2) Grammar; and (3) Methodeutic, which is Peirce's name for the methodology of science.
- All these issues were discussed and analyzed in detail by Aristotle, debated for centuries by the Greeks, Romans, and Arabs, and developed to a high level of sophistication by the medieval Scholastics. The books called "logic'' from the 13th to the 19th centuries discussed all these issues. But the 20th c. logicians ignored all but the formal logic. They did a lot of good work on logic, but they also lost a great deal.
- That is why I said that they wasted too much time studying Frege -- who ignored everything except the formal part.
Можно поразмышлять над этим текстом (а тексты John Sowa стоят того, чтобы над ними поразмышлять -- он крут), и прийти к следующим интересным выводам:
-- критическое мышление это не более чем использование в мышлении формальной логики (всё, что формально нелогично -- считается прокритикованным и выкидывается)
-- эпистемология aka методология науки -- это часть логики. Онтология -- это то, что получается после того, как сработала наука, методология науки определяет, что на выходе науки.
-- всякие паттерны и их распознавание (грамматика про это) -- это тоже часть логики.
-- логика это про символы (семиотика же!)
В 21 веке произошли следующие интересные новации (которые не до конца были отслежены и John Sowa, но он в последнее время пытается и это отследить):
-- эпицентр представлений о знании (representations) вдруг ушёл из символических (семиотика!) в распределённые/distributive представления, и сейчас там дифференцируемые как общий случай и нейронные представления как более частный случай (я писал об этом, начиная с "обучение представлениям", 2012 -- https://ailev.livejournal.com/1045081.html, типичный текст дальше -- "Дифференцируемое всё: от чёрно-белой картины мира к рябенькой" 2019 https://ailev.livejournal.com/1464563.html, а дальше много постов было про третью волну neurosymbolic AI, где говорится о необходимости иметь и локалистские и коннективистские представления, обзор на эту тему https://arxiv.org/abs/2012.05876 поминаю в конце 2020 в https://ailev.livejournal.com/1548016.html, а затем и обновление понимания S1 (оказалось, что S1 тоже умеет в символы!) и S2 с подачи Канемана уже в 2021 году в "Кругозорные витамины для жизненного опыта (common sense knowledge graphs для large language models)", https://ailev.livejournal.com/1551283.html (и там много чего интересного -- в том числе про необходимость естественного языка как языка логики, и опровержимого вывода -- работы Yejin Choi. Там далеко всё ушло от начальных работ Jaysen по логике науки как байесовской логики, ибо формальная логика оказалась лишь частным случаем байесовской/вероятностной -- https://yadi.sk/i/xOMTIe0drCE1tw. И там до сих пор идут исследования, что ж там такого в математике -- Noisy Deductive Reasoning: How Humans Construct Math, and How Math Constructs Universes, https://arxiv.org/abs/2012.08298). Из последних интересностей там "символическое поведение", и там среди авторов и Timothy Lillicrap, так что можно ждать интересных продолжений, это Symbolic Behaviour in Artificial Intelligence, https://arxiv.org/abs/2102.03406.
-- причинный вывод, внимание к контрфактичности. Работа с объяснениями, causal inference. И тут можно начинать копать через почти попсовую книжку Pearl, "The Book of Why", https://ailev.livejournal.com/1435703.html. Потом тоже много чего было: http://causality.cs.ucla.edu/blog/ -- это новости самого Judea Pearl, вот книга по causal inference https://www.hsph.harvard.edu/miguel-hernan/causal-inference-book/ с заданиями на программирование, вот развитие идей Pearl от Elias Barenboim https://causalai.net/ (и там chapter "On Pearl’s Hierarchy and the Foundations of Causal Inference" самого Баренбойма с Juan Correa, Duligur Ibeling, Thomas Icard -- https://causalai.net/r60.pdf). А вот совсем недавно люди, которые до сих пор пользуются p-критерием (помним о https://habr.com/ru/post/430190/), говорили ещё и о том, что людям часто нравятся directive explainations, хотя и контрфактуальные тоже бывают хороши -- https://arxiv.org/abs/2102.02671, это шевеления в том же направлении. Всё про "объяснения" в AI -- это работы по причинности, и этих работ много. Сюда же можно отнести и "Emergence as the conversion of information: A unifying theory", https://arxiv.org/abs/2104.13368 -- по факту это попытка показать формальную теорию системного подхода, которая говорит, что не только не хватает вычислительных мощностей для вычисления причинности в макроповедении по микроповедению, но и меняется тип информации -- и редукционизмом не удаётся решить проблему не только из-за сжатия, но и из-за потери смены типа информации (проблема causal emergence).
-- линия контрфактуальности в объяснениях получила развитие в линии Поппера-Дойча, изложенной прежде всего в книжке Дойча "Начало бесконечности", https://yadi.sk/i/SjpWiPqM4PQQSg. А что потом? Вот только что (формально -- через три дня, 4 мая 2021) вышла книга ученицы Дойча "The Science of Can and Can't: A Physicist's Journey through the Land of Counterfactuals", https://www.amazon.com/Science-Can-Cant-Physicists-Counterfactuals/dp/0525521925. Там раскрываются последние исследования в constructor theory Дойча, альтернативной репрезентации для физики,Instead of describing the world in terms of trajectories, initial conditions and dynamical laws, in constructor theory laws are about which physical transformations are possible and which are impossible, and why -- http://constructortheory.org/. Вся эта "бесконечность" существенно пересекается с идеями open-endedness, "квазиэволюциями", https://ailev.livejournal.com/1463013.html. Со всем этим активно работают. Скажем, Applying Deutsch's concept of good explanations to artificial intelligence and neuroscience -- an initial exploration, https://arxiv.org/abs/2012.09318 (и до этого работа от того же Daniel Elton "Self-explaining AI as an alternative to interpretable AI", https://arxiv.org/abs/2002.05149).
-- новации в статистике за последние 50 лет (и контрфактуальный статистический вывод только одна из этих новаций): counterfactual causal inference, bootstrapping and simulation-based inference, overparameterized models and regularization, multilevel models, generic computation algorithms, adaptive decision analysis, robust inference, and exploratory data analysis. Всё это про попытки компактно описать разнообразный мир -- "What are the most important statistical ideas of the past 50 years?", https://arxiv.org/abs/2012.00174
-- прагматический поворот в философии привёл к тому, что везде теперь агенты и цели, и мало кого интересует абстрактный inference в вакууме. Интересует только тот inference, который ведёт в достижению каких-то целей, интенциональность (не пишу интенСиональность, чтобы не путать с математической интенсиональностью, интенЦиональность тут о прагматизме). Поэтому огромный интерес к теории active inference и free energy principle, пришедшей из нейрофизиологии, но теперь это претендует на эпистемологический статус, "Active inference: demystified and compared", https://arxiv.org/abs/1909.10863 и "Is the free-energy principle a formal theory of semantics? From variational density dynamics to neural and phenotypic representations", https://arxiv.org/abs/2007.09291.
-- ещё одна линия -- это линия на ограниченность вычислительных ресурсов, направленных на познание. Тут чаще всего обсуждалась работа "Learning Curve Theory" про scaling laws для глубоких нейронных сетей -- https://arxiv.org/abs/2102.04074. Ставится вопрос, становится ли нейронная сеть умней, если просто наращивать её размер? Вся эта "гонка числа параметров" ведь ровно отсюда (последняя сетка -- 30 триллионов параметров, 19 апреля 2021, https://www.microsoft.com/en-us/research/blog/zero-infinity-and-deepspeed-unlocking-unprecedented-model-scale-for-deep-learning-training/). Но там не только про обучаемость нейросети нужно исследовать. Во-первых, это про алгоритмику как таковую, ибо сложность алгоритмов как основной вопрос алгоритмики -- она отсюда, и она про физику (что слишком сложно для классического компьютера, просто для квантового, и наоборот). Во-вторых -- это вечный вопрос про exploration vs exploitation в эволюции. Сколько вообще нужно тратить сил на исследования (в том числе продвижение в области представлений об исследованиях -- продвижения в эпистемологии) из общих ресурсов? Может, плюнуть на всю эту науку и пожить в своё удовольствие? Ответ может прийти из области праксиологии в её развитии в экономику как практику делёжки редкими ресурсами. И тут оказывается, что нужно изучать рынок, чтобы обсуждать эпистемологию! В computer science Theory A уходит главным образом в онтологику, а Theory B как раз в праксеологию -- https://cstheory.stackexchange.com/questions/1521/origins-and-applications-of-theory-a-vs-theory-b, и вся эта тематика предпринимательства оказывается завязана на тему разделения труда/вычислений/размышлений, плюс тему операционного менеджмента/operations research -- в эпистемологии предпринимательство ведь тоже вполне может быть (что, учёных в компании сейчас не нанимают?! А как же учёных в AI? Основной поток работ идёт как раз не из университетов, плюс значительную часть работ мы не видим в журналах -- используется вся эта наука без публикации, удерживается конкурентное преимущество тех, кто оплачивает познание/исследования). Что тут читать, пока непонятно, но без этого дальше не пройти.
И когда я слышу в области эпистемологии про работы не позже работ Томаса Куна (1922-1996), вполне живого Бруно Латура (1947 -- сейчас ему 73 года), Имре Лакатоса (1922-1974) и прочих по линии социологии и "человеческой" истории науки, а не линии AI и современности в науке как абстрактном познании, то я их глубоко усомневаю -- часть идей там вполне осталась, но как физику нельзя брать образца 60-х прошлого века, ибо в физике за полвека много чего понапроисходило (скажем, giant magnetoreisistance -- это открыто в 1988 году, все винчестеры в компьютерах как раз на этом работают), так и эпистемологию нехорошо брать такой давности. Чтобы эпистемология заработала по-настоящему, нужно её автоматизировать и отстроить от человека как единственного вида познающего агента (начать с extended mind, пообсуждать экзокортекс, а потом и просто роботов, которые делают науку. Вполне себе традиционный на сегодня заход, немыслимый ещё вчера -- во времена расцвета кунства-латурства-лаканства). Научные открытия нужно делать компьютерами -- и полезность эпистемологических представлений будет тогда, когда эти представления помогут объяснить науку компьютерам, и те бодро начнут производить знания, на потоке. ОК, тогда поверим, что эта эпистемология полезна, а до тех пор будем считать её красивыми художественными рассказами про человеческую жизнь -- с красивыми историческими примерами, которые учат тому же, чему история (то есть ничему не учат). Это линия Поппера, дополненная Дойчем -- Дойч довольно много внимания как раз уделял тому, чтобы избавиться от чисто человеческих представлений о познании. Как всегда, нужно брать уже не "полный набор идей Куна, Латура, Лакана" и прочих из этой серии, а разбирать на части -- и добавлять новые части, появившиеся в последние три-четыре года, когда появилось много исследователей, знакомых с распределёнными представлениями из современного AI.
Про познание/науку-из-компьютера в сегодняшнем варианте можно гуглить, например, через discovering symbolic models, но и это уже немного устарело -- это если считать, что наука -- это только про локальные представления, а коннективистских представлений в науке не бывает. Ну, и опустить ту часть, что про объяснения. Почитайте, например, про "достаточно предсказаний, не нужно объяснений" в объяснениях к выводам в теории дискретного поля по части движения планет -- https://www.nature.com/articles/s41598-020-76301-0, вот тут про эпистемологию от автора статьи: https://phys.org/news/2021-02-machine-theory-nature-science.html, и помним, что он первые свои статьи на эту тему написал ещё в 90-х годах прошлого века и вряд ли с тех пор менял свою точку зрения на роль объяснений. А вот тут другой подход, через representations learning -- и сегодня это всё называется discovering symbolic models from deep learning, https://arxiv.org/abs/2006.11287.
Какой-то набор литературы для базового методологического чтения я давал в октябре 2020 -- https://ailev.livejournal.com/1541889.html. Обзор онтологий в июле 2020 года у меня шёл (поскольку онтология и эпистемология обычно рядышком -- эпистемология на выходе даёт онтологию) примерно по тем же линиям: интенциональность, причинность, байесовщина, common sense и т.д. -- https://ailev.livejournal.com/1527652.html, я там пишу "классическая онтологика выживает пока как knowledge graphs, и John Sowa правильно указывает, что там всё плохо: повторяются решения 60-х годов, только огромных размеров. Никакие "умности", наработанные за десятки лет, в этих knowledge graphs не замечены -- даже микротеории как в CYC, хотя без этого ведь никуда!", в 2021 году там всё осталось на месте. Ну, не поменяем эпистемологию -- на выходе не будет новой онтологии!
Так что учим людей современной онтологике (логике в части формального и не слишком формального вывода, эпистемологии, онтологии) и следим, чтобы речь шла не об изучении истории онтологики, а об изучении SoTA практического знания.
И уже потом можно что-то обсуждать в рамках разных "дискуссий о [научном] методе": о роли математики и computer science в современном познании, о разнице подходов неоклассики и австрийской школы экономики, о шансах constructor theory в физике и прочих подобных интересных вещах. Эпистемология, как осетрина: если не первой свежести -- не эпистемология.
UPDATE: больше ссылок по линии Дойча и active inference в https://ailev.livejournal.com/1566927.html
Источник: https://www.facebook.com/ailevenchuk/posts/10220945889091017