Сижу в Минводах в кафешке рядом с вокзалом, коротаю время -- между самолётом и поездом где-то пять часов. Еда тут вдвое дешевле московской (или даже втрое), но зато её обильно поливают русскоязычной попсой в тех местах, где в Москве ставят босса-нову. Так что я то ли наслаждаюсь, то ли страдаю. Но зато в кафешке на каждом сидячем месте по две розетки: для зарядки ноутбука и зарядки телефона. На вылете из Москвы температура была +10, на прилёте +32. Контрасты! Утром должен быть уже в Анапе.
Ну вот и в Анапе, это по местным меркам у чёрта на куличках на краю ойкумены, но от вокзала 18 минут на машине. Зарегистрировался, поел -- и сижу в номере, вспоминаю правила поведения на курорте. В частности, с 14 до 16 на море ходить низзя, ибо солнечный круг небо вокруг, лысине бобо за 15 минут (хотя в сентябре, вроде, уже можно -- но тоже лучше не надо). За окошком 30, в номере кондиционер. И дорожка муравьёв в туалете: до пляжа ведь всего пять минут пешком! У меня дома в Анапе тоже была дорожка муравьёв на подконнике в кухне, тоже не вывести ничем было, и у всех так было. А в Ростове и Москве, муравьёв не было, зато тараканы. А последних лет десять и тараканов в Москве нет. На море всё по-прежнему, как я оставил эту местность 47 лет назад (вау! сам не ожидал, что так давно): так называемые "дюны" (песчаные холмики) с так называемыми "маслинами" (узкие зелёно-серые листья с крошечными зелёно-серыми не пойми какими плодами, по легенде это "дикие маслины", дети эти плоды обгрызают, и они сладковаты, если повезёт, а если не повезёт, то просто дико вяжут и без вкуса). Три танцпола на сегодня уже развёрнуто, на один меня даже затащили на полчаса -- а дальше удрал обедать, и вот сижу пишу в холодке. Сутки в дороге, и тоже забытые давно в детстве ощущения: сижу на стуле, а его подо мной качает, ведь в поезде ехал долго! После всех этих ласточек и самолётов такого не бывает, а после полусуток поездов -- обычное дело. А ещё вокруг полно детворы 3-10 лет, Анапа ж детский курорт, море тут мелкое и тёплое. Это стало заметно в уже в поезде, вагон ощущался как детский сад на колёсах, а в гостинице (тут чудеса лицензирования, это "гостевой дом" формально), тоже детский сад, и много танцоров сюда тоже приехали с малолетками, и прямо под окном у меня непрерывно идут около бассейна "анимации" для деток под громкую музыку. Ах, не только под музыку. Сейчас грохочет в номере нешуточно: это для детей идут мультфильмы на свежем воздухе у бассейна (балкон-окна у меня как раз на этот бассейн), а сабвуфер к мультфильмам впридачу, со всеми громоподобными "бабах-вжух-бумм" из этих мультфильмов. Это Анапа, тут всегда так было (хотя вру, детский гвалт всегда, а вот сабвуфер под окнами -- это примета времени).
Особенность югов: через NordVPN ничего вообще не работает -- если я "в Нью-Йорке", то интернет не виден вообще (я его получаю из МТС и раздаю себе на ноутбук). В Москве всё с этим обычно ОК, а тут ни в Минводах, ни в Анапе. Ну ладно, фейсбук без меня как-нибудь переживёт недельку.
Тем временем сдвинулось дело с writing assistants -- https://arxiv.org/abs/2208.11663. Идея в том, чтобы текст писать не сразу, а сначала черновик, а потом его долго доводить напильником. Я когда-то написал текст про "мышление письмом/моделированием" и как раз двигал эту идею, что вслед за программистскими IDE будут развиваться писательские IWE, "мышление кодированием в IDE, мышление письмом в IWE", https://ailev.livejournal.com/1515735.html -- и это как раз продолжение этой линии. Особенность в том, что надо как-то научить не "писать", а именно "редактировать". Для этого нашли датасет: историю правок в википедии! Сейчас я бы ещё помянул в этой связи "непрерывное писательство", continuous writing, в котором текст evolve/развивается. Как показывали Stanlyey и Lehman, эволюция даёт результаты, которые невозможно получить в один шаг. Последовательные улучшения позволяют достичь результата, невозможного в однократном подходе. Ещё важно, что это "коллаборативная языковая модель" (в том числе коллаборативная сама с собой -- выполняет все шаги сама), и поэтому в ней не просто предложения по редактированию, но и объяснения/explanations/rationale. Если ты что-то делаешь и предлагаешь, будь добр обосновать -- это верно даже для нейросеток-ассистентов. Я тоже следую примерно этому подходу: переписываю свои книжки постоянно, они от этого улучшаются. Я не вписываю в книгу, что и зачем я там улучшил, там остаётся конечный результат. Но я всё равно пишу эти обоснования, вот прямо тут в блоге. Так что я тоже следую похожей модели.
Вот у DeepMind похожий подход: цель научить быстрее, чем эволюция -- https://www.deepmind.com/blog/from-motor-control-to-embodied-intelligence. Учат на примерах низкоуровневым эффективным движениям, а затем учат болеевысокоуровневой активности. Сначала учат робота бегать. Потом ловить-останавливать-бросать мяч. А потом уже заставляют играть друг с другом, и это уже привычно (так, через некоторое время появляется умение прибегать без мяча в ту точку, куда тебе могут передать пас -- но если ты сразу учишься этому, ещё не умея бегать и что-то делать с мячом, то "всё вместе" оказывается неподъёмным). Эволюция и растущая сложность, то есть многоуровневость. Учимся таки снизу вверх. Мне кажется, что и для людей всё это отлично будет работать. Снизу вверх, сержантским методом.
А вот тут улучшили SoTA сразу на куче тестов, использовав мультимодальное обучение (и текст, и картинки), это по сути использование grounding в физическом мире -- https://syncedreview.com/2022/08/30/microsofts-beit-3-foundation-model-a-big-convergence-of-language-vision-and-multimodal-pretraining-that-achieves-sota-results-on-popular-benchmarks/. Сказать "утка" и показать картинку утки, сказать duck и показать картинку утки. Ещё бы оно не работало!
Всё, пошёл есть мороженое. По слухам, его вот прямо сейчас должны давать в столовой. Называется это "рацион". Хорошо, что я переспросил, что это такое - это тебя поят-кормят мороженым и вином-напитками между завтраками-обедами-ужинами, сколько съёшь-выпьешь. Вхдит в стоимость номера. Завидуйте. Я, правда, не пью. Но от мороженого не откажусь. Засим прощаюсь.
Источник: https://ailev.livejournal.com/1647222.html