Бывало так, что из долгой поездки вы помните только несколько моментов? А все отпуска за много лет сливаются в единое целое? А из школьного класса помните фамилии только нескольких человек? Это вовсе не потеря памяти, как может показаться. Наоборот, это признак крайне развитого интеллекта, который научился эффективно сжимать данные.
На самом деле воспоминания из памяти можно вытянуть (разархивировать) через регрессивный гипноз. Просто в данный момент они не нужны, поэтому хранятся в сжатом виде
Все мы знаем и используем компьютерные архиваторы: ZIP, RAR, Brotli и т. д. Но мало кто видит в них модель интеллекта. Это даже как-то странно на первый взгляд. Хотя если подумать, то идеальное сжатие — это синоним понимания.
Если взглянуть на теорию сжатия информации, а также на растущую сложность алгоритмов, которые переходят на нейросети, то на наших глазах как будто появилось и развивается некое живое существо. Можно пофантазировать, что когда-нибудь его сложность станет настолько выше нашего понимания, что любую информацию в мире оно сможет сжать до цифры «42».
Если без шуток, все алгоритмы сжатия делятся на две большие категории: сжатие с потерями и без потерь. Первая категория часто используется для сжатия фото, видео и звука, то есть аналоговых нейронных сигналов (зрение, слух), вторая — для цифровых. Сжатие без потерь используется в архивации данных и резервном копировании. Во многом полагается на поиск дубликатов в массиве цифровой информации.
Первым в мире архиватором можно считать код Морзе (1838), который для кодирования более частых букв в английском языке (e, t) использует более короткие коды.
История компьютерных алгоритмов сжатия без потерь берёт начало в 1949 году, когда Клод Шеннон и Роберт Фано изобрели алгоритм Шеннона — Фано, в котором коды символов в блоке основаны на вероятности появления символа. Вероятность появления символа обратно пропорциональна длине кода, что приводит к более короткому способу представления данных.
Через два года пришла очередь студента Дэвида Хаффмана, который учился в группе у Роберта Фано в MIT и подготовил курсовую работу, где описал самый эффективный на то время метод бинарного кодирования, ныне известный как код Хаффмана (изображён на КДПВ), похожий на код его преподавателя.
▍ Эпоха LZ77
В конце 1970-х компьютеры стали более популярными и появился первый софт для сжатия резервных копий. Сначала он использовал коды Хаффмана, а в 1977 году был изобретён революционный алгоритм Лемпеля — Зива — Уэлча (LZ77) — первый алгоритм с использованием словарей. В частности, там изначально использовался динамический словарь (также известен как скользящее окно), который идеально подходит для поиска повторяющихся последовательностей битов.
LZ77 определил разработку архиваторов на десятилетия, с дальнейшими техническими усовершенствованиями и множеством ответвлений, изображённых на диаграмме вверху. Использование LZ78 (со статическим словарём) было затруднено из-за появления в 1984 году производного алгоритма LZW, который удалось запатентовать с требованием лицензионных отчислений. После этого владелец патента начал подавать в суд на других разработчиков и даже конечных пользователей за использование формата GIF без лицензии.
С распространением интернета в 80-90-е годы производные алгоритмы LZ77 легли в основу новых форматов сжатия файлов: ZIP (1989), GIF (1987), PNG (1994), RAR (комбинация PPM и LZSS, 1993) и др. Первым массовым архиватором стал опенсорсный ARC в 1985 году и PKARC (ZIP) в 1989 году. Затем производные LZ77 начали использоваться буквально везде, включая HTTP и SSL.
▍ Новые алгоритмы. Нейросети. Сжатие на GPU
С одной стороны, большинство современных архиваторов используют базовые техники, но внедряются и принципиально новые подходы. В начале 2000-х получил популярность алгоритм PAQ, основанный на смешивании контекста (context mixing, CM, о нём ниже), а в 2019 году известный программист Фабрис Беллар представил уникальный архиватор NNCP, спроектированный на нейросетевой архитектуре трансформер (в 2021 году вышла вторая версия). Основные принципы описаны в научных статьях 2019 и 2021 гг. Последняя версия 3.1 — и она уже вышла на первое место в мире по коэффициенту сжатия стандартного массива текстов Large Text Compression Benchmark (109 байт англоязычной Википедии). С этого началось использование нейросетей в сжатии данных.
Текущие лидеры Large Text Compression Benchmark (всего 122 участника):
| Программа | Результат сжатия enwik9 (байт) | Размер разархиватора (zip) | Общий размер (enwik9+программа) | Время (нс/байт) | Алгоритм | |
|---|---|---|---|---|---|---|
| арх. | разарх. | |||||
| nncp 3.1 | 108 378 032 | 201 620 | 108 579 652 | 212 766 | 210 970 | Tr |
| cmix 19 | 111 470 932 | 223 485 | 111 694 417 | 605 110 | 601 825 | CM |
| tensorflow-compress 4 | 113 542 413 | 55 283 | 113 597 696 | 291 394 | 290 803 | LSTM |
| cmix-hp (10.06.2021) | 113 712 798 | 0 | 113 712 798 | 189 420 | 194 280 | CM |
| starlit (31.05.2021 | 114 951 433 | 0 | 114 951 433 | 173 953 | 171 682 | CM |
CMIX и многие другие архиваторы 2002–2019 годов используют смешивание контекста с предварительной обработкой по словарю — в своё время революционную технику, когда несколько статистических моделей интеллектуально комбинируются таким образом, что прогнозируют следующий символ лучше, чем любая из моделей сама по себе.
PAQ (2002) — один из наиболее перспективных алгоритмов CM, с момента его создания было создано десятки вариантов, причём некоторые достигли рекордных коэффициентов сжатия.
Архиватор CMIX считался мировым лидером по сжатию до появления NNCP. Он основан на коде paq8hp12any и paq8l (современные модели из семейства PAQ).
Из других новинок последних лет можно упомянуть алгоритм Brotli-G, основанный на обычном Brotli (классический LZ77 + код Хаффмана), но оптимизированный для GPU. То есть получается сжатие с аппаратным ускорением. Учитывая потенциальное использование нейросетей, такое аппаратное ускорение весьма уместно. По эффективности Brotli в числе аутсайдеров, но это первый в мире архиватор на GPU. Да и он изначально создавался для шифрования трафика в интернете и был ориентирован в первую очередь на скорость в реальном времени, а не на сжатие. Поддержка есть во всех современных браузерах.
▍ Сжатие информации как эквивалент интеллекта
Понятно, почему Фабрис Беллар решил использовать нейросети именно для сжатия данных. Это очень логично в свете того, что некоторые учёные соотносят сжатие данных с общим интеллектом.
Дело в том, что эффективное сжатие требует понимания данных. Чем лучше понимание, тем больше паттернов, куда эти данные укладываются. И тем эффективнее сжатие. Например, в миллиардах цифр на экране мы вдруг увидели координаты точек окружности, и тогда можем сжать терабайты информации в три числа (координаты центра и радиус). Почти как в анекдоте про школьника с архиватором, который всё архивирует в 1 байт, только разархивировать не может.
Таким образом, сжатие информации требует её понимания. Отсюда аналогия с интеллектом, который тоже находит смысл в окружающих явлениях. В миллиардах хаотических событий окружающего мира мы видим физические объекты и даже абстрактные понятия, и «сжимаем» их до одного слова, схемы или образа.
В качестве примера можно вспомнить диаграммы Фейнмана, которые «сжимают» описание сложных физических процессов до одной простой картинки.
Это и есть работа интеллекта. Ричард Фейнман получил Нобелевскую премию по сути за самое эффективное сжатие информации.
Грубо говоря, один человек умеет сжимать и понимать только простые объекты (минимальное сжатие, средний IQ), а другой более сложные (максимальное сжатие информации, высокий IQ), которые не поддаются пониманию первого архиватора. Чем выше коэффициент сжатия информации, тем качественнее и эффективнее модель данных для окружающего мира.
Кстати, на этом тезисе основан компрессионизм — теория мышления на основе сжатия данных. По сути, если рассматривать человеческий разум и интеллект в таком виде, то сжатие данных — это главная концепция в нашей жизни.
Авторы приводят примеры сжатия данных, которые основаны на понимании определённых высокоуровневых концепций. Например, бесконечная последовательность чисел
4, 6, 8, 12, 14, 18, 20, 24...… сжимается до одной фразы «нечётные простые числа +1»
Здесь также понятна связь между сжатием данных и прогнозированием будущего. Это как в жизни: если у вас более качественная модель сжатия (понимания) мира, то вы лучше предсказываете поступки других людей. Теорема о кодировании информации Леонида Левина (1974) демонстрирует, что с высокой вероятностью самая компактная модель и оказывается самой верной (бритва Оккама).
В научной работе 2009 года Шмидхубер предложил рассматривать сжатие данных как простой принцип, который объясняет существенные аспекты субъективной красоты, новизны, удивления, интересности, внимания, любопытства, творчества, искусства, науки, музыки и шуток. Он утверждает, что данные становятся временно интересными, как только наблюдатель учится предсказывать (т. е. сжимать) их лучшим образом, делая их субъективно более простыми и «красивыми».
С этой точки зрения любопытство можно рассматривать как желание создать и обнаружить закономерности, которые позволяют достичь прогресса в сжатии, при этом уровень любопытства связан с требуемыми усилиями.
Аналогичным образом теория Магуайра о субъективной вероятности (2013), а также теория простоты Дессаллеса (2011) рассматривают сжатие данных как ключевую объяснительную конструкцию в феномене удивления. Когда люди сталкиваются со стимулом, который ожидается как случайный, но оказывается сжимаемым, это вызывает реакцию удивления (или смеха).
Согласно Магуайру, люди часто полагаются на сжатие данных, а не на теорию вероятности для принятия решений во многих сценариях реального мира. Если подумать, то сжатие и есть понимание. Главная концепция в нашей жизни.
В свете этой концепции интересно следить за конкурсами на лучшее сжатие текстов из Википедии на натуральном языке, такими как Large Text Compression (109 первых байт из enwiki-20060303-pages-articles.xml) и Hutter Prize (108 первых байт, приз 500 тыс. евро, на фото справа — последний победитель — Артемий Маргаритов из Эдинбурга). По мнению учёных-компрессионистов, идеальное сжатие текста эквивалентно тесту Тьюринга для машин. Возможно, сильный ИИ сможет сформироваться где-то в симбиозе чат-ботов (речь) и архиваторов (понимание смысла).
С одной стороны, сжатие рассматривается как ключ к идеальному математическому определению интеллекта. С другой стороны, создать идеальную модель сжатия настолько же трудно, как и познать принципы мышления. Или даже невозможно в силу потенциального противоречия теореме Гёделя, из которой можно сделать выводы о невычислимости функции сознания, а также о существовании принципиально непознаваемых явлений (предел Хайтина).
Играй в нашу новую игру прямо в Telegram!
Комментарии (43)
celen
30.01.2023 13:37+39В заголовке статьи ошибка. Все или почти все наши приемы запоминания, осознавания и т.п. интеллектуальной работы - сжатие с потерями. Это верно для все случаев, кроме тех, когда глубинная природа явления столь проста, что её краткое описание полностью её воспроизводит - вроде простых чисел или физических моделей.
Что бы не быть голословным, приведу цитату из одной из ссылок, предоставленных в вашей статье
В Rationale for a Large Text Compression Benchmark в пункте "Why Not Lossy Compression?" говорится, что:
Although humans cannot compress losslessly, they are very good at lossy compression: remembering that which is most important and discarding the rest.Дальше в этом пункте разъясняется ответ на вопрос заголовка пункта - сжатие с потерями текста требует уметь оценить качество этого сжатия, что в случае текста видится исследователям сложноватым и запутывающим формальную постановку задачи. Само утверждение видится самоочевидным.
Единственное место, где вы явным образом спорите с тем, что мозг всегда сжимает всё с потерями:
На самом деле воспоминания из памяти можно вытянуть (разархивировать) через регрессивный гипноз.Согласно Experimental production of past-life memories in hypnosis техники реверсивного гипноза высокоэффективны не во вспоминании чего-то реального, а в домысливании, иногда, полностью оторванных от реальности вещей (в статье у группы из 64 взрослых людей посредством гипноза успешно вызывали воспоминания о прошлой жизни). Известные цирковые трюки, вроде того, когда фокусник гипнозом заставляет человека вспомнить день рождения пятидесятилетней давности в мелких подробностях вроде того, кто что сказал за столом и какого цвета были воздушные шарики - так же легко объясняется активизацией механизмов ложной памяти или, если проще, фантазиями загипнотизированного насчет возможного дня рождения в далеком детстве.
Так что корректно было бы назвать статью так:
"Сжатие с потерями — главная концепция в нашей жизни".
SADKO
30.01.2023 16:26+1Оо, есть ещё более тонкие трюки, основанные на том, что люди не просекают момент собственно внушения, и искренне удивляются его актуализации. А подходящих персон из зала помогают выбирать внешние признаки.
Вы будете называть "факты из жизни", а человек соглашаться и изображать искреннее удивление :-)
fizteh147
30.01.2023 21:48+1Согласно Experimental production of past-life memories in hypnosis техники реверсивного гипноза высокоэффективны не во вспоминании чего-то реального, а в домысливании, иногда, полностью оторванных от реальности вещей (в статье у группы из 64 взрослых людей посредством гипноза успешно вызывали воспоминания о прошлой жизни).
Позволю себе усомниться в том, что за данными выводами стоит что-нибудь кроме веры ученых в собственную непогрешимость.
Предполагаю, что на основе тех же данных могу построить логически непротиворечивую картину мира, где переселение душ - это вполне привычное явление, и 64 взрослых человека действительно в подробностях вспоминали когда-то произошедшее с ними. Если эти воспоминания и оторваны, то от удобной для ученых реальности вещей.
Почему так может быть?
Потому что не стоит забывать про Далай-Ламу. Кроме того, талант Юрия Кнорозова к дешифровке рукописей Майя может быть объяснен в том числе его воспоминаниями из прошлой жизни.
Я к чему веду: У вас есть другие исследования, которые подтверждают, что техники реверсивного гипноза позволяют "домыслить", а не вспомнить?
smx_ha
30.01.2023 22:13+2Позволю себе усомниться в том, что за данными выводами стоит что-нибудь кроме веры ученых в собственную непогрешимость.
За данными выводами стоит научный метод c бритвой Оккама в руках :)
fizteh147
30.01.2023 22:51+1И что же говорит научный метод с бритвой Оккама про Далай-Ламу?
бритва Оккама в общем случае может работать как против переселения душ, так и за. Сможете озвучить аргументы, почему в данном эксперименте он работает против переселения душ?
ReadOnlySadUser
31.01.2023 10:03+1Позволю себе немного влезть в разговор, оч стало интересно)
И что же говорит научный метод с бритвой Оккама про Далай-Ламу?
А про какие именно аспекты мы говорим? Я не сильно знаток буддизма, о каких чудесах мы говорим в отношении далай-ламы, на которые бритва Оккама не может отсечь?
бритва Оккама в общем случае может работать как против переселения душ, так и за.
В общем случае - да. Однако в контексте гипноза думаю вполне возможно доказать, что это все выдумки. Например, если начать распрашивать про исторические факты и предметы быта, я готов поспорить, выяснится что люди под гипнозом воспроизводят события таким образом, каким они отражены в массовой культуре, а не такими, какие они были на самом деле.
fizteh147
31.01.2023 12:56+2А про какие именно аспекты мы говорим? Я не сильно знаток буддизма, о каких чудесах мы говорим в отношении далай-ламы, на которые бритва Оккама не может отсечь?
Лично я хотел бы обсудить такой аспект: Далай-Лама и его сторонники утверждают, что Далай-Лама смог узнать свои вещи из прошлой жизни (как на опознании в полицейском участке опознают преступника). Как предлагаете "отсекать"?
Однако в контексте гипноза думаю вполне возможно доказать, что это все выдумки. Например, если начать распрашивать про исторические факты и предметы быта, я готов поспорить, выяснится что люди под гипнозом воспроизводят события таким образом, каким они отражены в массовой культуре, а не такими, какие они были на самом деле.
А вы задумывались, что именно вы докажете тем фактом, что люди воспроизводят события таким образом, как они отражены в массовой культуре?
Допустим, что кто-то воспроизведет события не как в массовой культуре. Что скажут ученые? Правильно. Этого нет в массовой культуре, значит воспроизводят неверно (домысливают). И это логично с точки зрения ученых.
Если воспроизводят как в массовой культуре, то что говорят ученые? Воспроизводят данные по массовой культуре.
Как не воспроизведи, всегда можно сказать, что домысливают. В одном случае потому что подсмотрели (и обманывают себя), а в другом случае потому что противоречат массовой культуре.
Но ведь можно найти другое логичное объяснение. Например, что переселение не хаотично, а упорядочено массовой культурой. Раз мы фантазируем, что переселение душ возможно, то почему оно не может регулироваться массовыми культурными представлениями о переселении?
Самое интересное, что законы физики и переселение душ - это независимые факторы. С моей точки зрения возможен реальный мир из любого сочетания. Почему мы считаем нереальным сочетание, когда работают законы физики и есть переселение душ? Каким законам физики это противоречит?
ReadOnlySadUser
31.01.2023 15:26+1Далай-Лама и его сторонники утверждают, что Далай-Лама смог узнать свои вещи из прошлой жизни (как на опознании в полицейском участке опознают преступника). Как предлагаете "отсекать"?
Бритва Хитченса, очевидно. «Что можно утверждать без доказательств, то можно отвергнуть без доказательств», так сказать.
А вы задумывались, что именно вы докажете тем фактом, что люди воспроизводят события таким образом, как они отражены в массовой культуре?
То, что всякие события и быт прошлого в кино не имеют ничего общего с реальными задокументированными вещами? И если человек несёт пургу, то очевидно откуда он этого нахватался.
Допустим, что кто-то воспроизведет события не как в массовой культуре. Что скажут ученые? Правильно. Этого нет в массовой культуре, значит воспроизводят неверно (домысливают). И это логично с точки зрения ученых.
Учёные пойдут и сверят с имеющимися фактами. Если совпадёт, скажут: "ок, возможно он и правда переродился". Если подтверждающих фактов не будет или большинство фактов будут расходиться с реальностью - скажут выдумывает (бритва Оккама).
Но ведь можно найти другое логичное объяснение. Например, что переселение не хаотично, а упорядочено массовой культурой.
А можно сказать, что по орбите вокруг солнца движется чайник. Что как бы очевидно демагогия.
Самое интересное, что законы физики и переселение душ - это независимые факторы. С моей точки зрения возможен реальный мир из любого сочетания.
С точки зрения любого учёного - любая дичь возможна, лишь бы она была экспериментально проверялась.
Почему мы считаем нереальным сочетание, когда работают законы физики и есть переселение душ? Каким законам физики это противоречит?
Вопрос бессмысленен сам по себе, потому что такой концепции как "душа" физикой не предусмотрено.
Я бы даже больше сказал - в этом мире нет ни одного чёткого определения тому, что такое "душа", и, соответственно, мы понятия не имеет переселение чего мы отрицаем.
Не верите? Спросите двух случайных людей, что такое душа, и ничего не подсказывайте, не спорьте, а просто выслушайте до конца. Потом сравните ответы.
fizteh147
31.01.2023 22:23А можно сказать, что по орбите вокруг солнца движется чайник. Что как бы очевидно демагогия.
Я рад, что вы про это вспомнили. А с каких пор у ученых появилась возможность доказать, что чайника на орбите нет? Вам не кажется, что это демагогия со стороны ученых?
С точки зрения любого учёного - любая дичь возможна, лишь бы она была экспериментально проверялась.
А вы умеете ставить эксперименты в этой области? Сторонники Далай-Ламы провели эксперимент, но вы не верите результатам.
Я бы даже больше сказал - в этом мире нет ни одного чёткого определения тому, что такое "душа", и, соответственно, мы понятия не имеет переселение чего мы отрицаем.
Не верите? Спросите двух случайных людей, что такое душа, и ничего не подсказывайте, не спорьте, а просто выслушайте до конца. Потом сравните ответы.
Предлагаю вам провести такой же эксперимент на тему бозона Хигса (хотя можно и про электрон спросить). А еще лучше спросить про энтропию. Как думаете, какой будет результат?
И что будут означать результаты, если ответы про энтропию не совпадут? Энтропии не существует?
P.S. мы ушли в сторону. Я понял, что вы хотели сказать. Люди описывали быт, который совпадает с киношным миром. А сам киношный мир по сути есть выдумка, а не документированные факты. Ну тогда да, похоже на то, что мозг домысливает детали. Но возможно, что саму суть произошедшего мозг описывает верно, а предметы быта не важны.
Тут ведь проблема в том, что мозг среднестатистического человека никогда не регистрирует объективную картину мира. Предлагаю продолжить серию экспериментов и попросить двух случайных людей описать место, в котором они находятся. Как часто это описание совпадет, если люди находятся в полуметре друг от друга и не знакомы друг с другом?
smx_ha
31.01.2023 17:22+2Лично я хотел бы обсудить такой аспект: Далай-Лама и его сторонники утверждают, что Далай-Лама смог узнать свои вещи из прошлой жизни (как на опознании в полицейском участке опознают преступника). Как предлагаете "отсекать"?
Учитывая что выбор нового ламы это не только религиозный вопрос но еще и политический, то я бы "отсек" это сделав просто "невероятное" предположение: они врут :)
fizteh147
01.02.2023 16:53С моей точки зрения это как раз усложнение - придумать теорию заговора, по которой нам врут.
А хотите я вам предложу подумать над таким моментом: ученые врут о том, что астрология не работает, потому что это политический вопрос. Астрология ненаучна (наукой ее не проверить), а ничего ненаучного они допустить не могут (сознательно или бессознательно, в результате заблуждений)
И проверить это я предлагаю при помощи того же самого вопроса: Если астрология - это чайник Рассела (нельзя проверить через науку), то откуда у ученых обоснование утверждать, что чайника нет? Максимум, что они могут сказать - наука в этом не разбирается.
smx_ha
01.02.2023 18:12Если астрология - это чайник Рассела (нельзя проверить через науку), то откуда у ученых обоснование утверждать, что чайника нет? Максимум, что они могут сказать - наука в этом не разбирается.
Не знаю про астрологию, совсем не уверен что это чайник Рассела. Но вообще, по хорошему про что то что нельзя исследовать с помощью научного метода ученые должны так и сказать "'с помощью научного метода нельзя сделать выводов по данному вопросу".
Другое дело что нет других методов которые показывали бы хоть какую то эффективность.
fizteh147
01.02.2023 18:44Другое дело что нет других методов которые показывали бы хоть какую то эффективность.
Есть. Только знания об этих методах доступны тем, кто обучился. Как исследования и эксперименты в области квантовой физики может ставить далеко не каждый, так далеко не каждый может (или хочет) осваивать методы, которые покажут эффективность астрологии. И это в любой области так. Путь к хорошему мотористу лежит через опыт долгой работы и совершенные ошибки.
Добавьте к этому то, что эти методы не научны с той точки зрения, что эксперимент сложно воспроизвести (в случае с Далай-Ламой надо ждать пока он снова умрет). Об этих методах легко можно сказать, что это самообман.
Дополнительно к этому всегда найдутся люди, которые захотят на этом заработать (находятся же "лжеученые", от которых наука потом открещивается) или применяют астрологию в той сфере, где это в принципе не применимо.
Тут как с походом в автосервис ради капиталки ДВС. Могут взять деньги за некачественный ремонт, а могут сделать так, что ДВС будет как новый.
Только никто не говорит, что хороших мотористов нет совсем. И хороших мотористов не предают анафеме только за то, что есть мотористы-обманщики. Еще к хорошим мотористам мало кто приходит, чтобы проверить качество их работы. Типа докажи, что ты хороший моторист.
Зато с астрологами так можно. Один астролог меня обманул - все астрологи обманщики. Надо их всех разоблачить!
А хорошие астрологи просто работают для тех, кому реально нужны их услуги, не привлекая к себе лишнего внимания. Понимая, что с точки зрения науки они типа чайника Рассела.
smx_ha
01.02.2023 20:42+1так далеко не каждый может (или хочет) осваивать методы, которые покажут эффективность астрологии.
Что это за такие методы? Я знаю только: "для меня работает" или "я верю что астрология работает, просто мне астрологи плохие попадаются". И это хорошие методы, только что с ними делать то?
Я то имел ввиду такие методы используя которые можно было бы сказать "почему астрология эффективна", "какой должна быть астрология на других планетах", "как нам упростить астрологию сведя ее к алгоритму" и т.д.?
smx_ha
31.01.2023 16:57почему в данном эксперименте он работает против переселения душ?
Потому что душа это лишняя сущность.
Ну и вообще, если мы считаем что "плодить сущности" для объяснения чего то это нормально, то мы такое количество версий наплодим что фиг знает как из них выбрать такую над которой стоит работать сообща.
Ну то есть почему именно "переселение душ"? Почему не "в Матрице наши тела переиспользуются после виртуальной смерти" или "мы все подключены к одному общему сознанию".
А ведь на этом все не заканчивается, если мы выбрали "это переселение душ" то как объяснить что такое "душа". Что выбрать, христианское объяснение, индуистское,буддистское(который кстати насколько я знаю отрицает существование "души" в индуистском смысле не вводя никакого своего :)". И ведь ещё надо будет выбирать между различными течениями и сектами в рамках одной религии :).
Так что неее, если что то можно объяснить без привлечения доп. сущностей то лучше это сделать.
kuza2000
31.01.2023 21:02+1Дешифровка рукописей Майя говорите? Охотно верю. И точно знаю, что прошлые жизни были, у меня есть факты.
Например, в питоне часто не знаю метод. Вот сижу, думаю - а как тут может метод называться? Я бы назвал - так. Пробую, а он есть этот метод, и параметры его знаю. Это можно объяснить только одним способом - в прошлой жизни я был питон-программистом. 100% инфа.
phenik
31.01.2023 09:55Некоторые уточняющие пояснения к комментарию, хотя в целом согласен с его автором.
В заголовке статьи ошибка. Все или почти все наши приемы запоминания, осознавания и т.п. интеллектуальной работы — сжатие с потерями.
Где именно ошибка в самой статье? Заголовок о важности концепции сжатия без потерь в жизни — в технологиях и исследованиях, но прямо не говорится о ее применимости к ментальным феноменам. Единственно предложениеХотя если подумать, то идеальное сжатие — это синоним понимания.
Если считать идеальное за сжатие без потерь. Но это уже автор статьи должен прояснить, что имел в виду. Хотя в мозге действительно происходит сжатие с потерями, и доказательства этому можно получить в нейрофизиологических исследованиях, а не только исходя из общих соображений. Для этого достаточно произвести поиск spatio-temporal summation in nervous system или in perception. Первый в выдаче обычно ссылка на суммацию в нейрофизиологии. Конечно аудитории Хабра, интересующейся проблематикой ИНС и ИИ, известно, что формальной моделью нейрона является взвешенный по входам сумматор с некоторой функцией активации, т.е. базовая единица сети, как биологической, так искусственной уже производит сжатие поступающей на его вход информации. Это особенно наглядно в глубоких сверточных архитектурах ИНС, которые наиболее адекватно моделируют биологические прототип — вентральный тракт зрительной системы приматов.Моделирование зрительного тракта
Для сенсорных систем пространственно-временная суммация давно исследуется различными методами, и схематически представляется следующим образом.Схема компрессииЭто относится не только к сенсорной информации, но и ее дальнейшему обобщению в вышележащих, ассоциативных зонах мозга.
Изображение из этого исследования J. Zhou at al. (2017), посвященного временной суммации в зрительной системе, однако в нем можно найти ссылки и на исследования пространственной.Это верно для все случаев, кроме тех, когда глубинная природа явления столь проста, что её краткое описание полностью её воспроизводит — вроде простых чисел или физических моделей.
Вряд ли просто, как показывают нейрофизиологические исследования, даже для чисел. Концепция численности в виде чувства чисел является эволюционной находкой, которые человек обобщил в практической деятельности. На нейрофизиологическом уровне этот механизм устроен весьма не просто, как показывают исследования и моделирование с использованием тех же сверточных ИНС. В нем также используется нелинейная компрессия зрительной информации для получения оценки численности объектов в сценах, см. этот перевод.
engine9
31.01.2023 15:50+1Недавно беседовал с человеком у которого был опыт переживания клинической смерти из за ошибки в проведении спинальной анестезии. Он находился в сознании и чувствовал как по телу движется "волна онемения" вверх. В какой-то момент он успел сказать "Я задыхаюсь, бегите за помощью" и отключился. Но суть рассказа в другом, пока его откачивали он видел некоторые характерные образы: "Лето, залитый солнцем луг, сияющая фигура зовущая его к себе".
Я ни капли не подвергаю сомнению что он реально видел и переживал этот опыт. Но он спрашивал как так получилось что он "на том свете" увидел именно такую картину? Я на минуту призадумался и пришел такой ответ. Часто мы видим во сне образы предшествующего дня, т.е. недавний опыт определяет сюжет сна. Вероятно и при потере сознания и гипоксии, которая у него случилась, его мысль о том, что он умирает подготовила его мозг выдать именно такой сюжет. Потому что мы все много раз слышали по телевизору, что люди в предсмертном опыте переживают такие картины.
Как дополнительный аргумент того разговора. У меня был приятель в школе, который пережил опыт утопления но его спасли. И он говорил, что в момент когда у него уже кончались силы ему стало казаться что нужно просто утонуть и потом он бы очутился живым на берегу. Стали думать почему такое может быть и ответ оказался банальным: киноштамп. Вспомните сколько раз мы видели этот приёмчик в фильмах!
Вот и разгадки "мистического опыта". На каких сюжетах нейроночку в голове натренировали, то она и выдает в предсмертных галюнах…
VDG
31.01.2023 19:57Ангелы звали в небеса и до появления кино. Я бы обратил внимание не на картинку, а на то, что и в ваших двух случаях предлагается прекратить сопротивление смерти.
engine9
31.01.2023 22:56+1Если бы в нашей культуре в небеса звали волшебные коты, то сюжеты были бы с котами.
Неужели вы считаете, что до кино люди были изолированы от религиозных сюжетов? :)
Изображение из этого исследования JSADKO
30.01.2023 16:12+4Регрессивный гипноз, лишь терапевтическая метафора, в действительности никаким сжатием без потерь в голове близко не пахнет. Это очень легко проверяется, просто не афишируется...
Само состояние гипноза, это как тот популярный чат трансформер, у него есть захардкоженеые телеги вроде "я языковая модель", "мои знания ограничены тырьнетом боянистого года" и тд.
Но умелым запросом их можно обойти, и тогда он фантазирует на заданную тему, не хуже гипнотика.
sim31r
31.01.2023 00:43+1Плюс был эксперимент в универе со студентами психологами. Без гипноза, в нормальном состоянии студентам показывали поддельные фотографии из детства типа "я с мамой и папой в 4 года в Диснейленде" и далее мозг не найдя воспоминаний придумывал их. А когда говорили правду, человек воспринимал это болезненно. То есть мозг может обманывать сознание.
yatanai
31.01.2023 10:41+1Когда наша предсказательная модель ловит факап, там вообще можно шизом стать.
Я вот по приколу людей в шараге изводил, что спустя пару месяцев они становились дико нервозными. Перекладывал тетрадки внутри портфеля, карандаши местами менял. Хах)
engine9
31.01.2023 15:38+1В эксперименте со внедрением ложных воспоминаний была хитрая пасхалочка. Людям показывали отфотошопленные фотографии с Багзом Банни в диснейленде и они охотно вспоминали детали события и т.п.
Но прикол в том, что Багз Банни не мог быть в диснейленде, т.к. это персонаж Warner Bros. Cartoons.
garwall
30.01.2023 17:24Как мне кажется, говорить о сжатии более полезно не в качестве какого-то произвольного понимания, а энтропии
shuhray
31.01.2023 05:19+3Чрезвычайно интересно, есть ли какой-нибудь способ вспоминать давно забытое. Недавно просматривал старые слайды и вспомнил надувного резинового крокодила, который у меня был в детстве (с ним плавал в воде). Лет 30 точно не вспоминал об этом крокодиле. Значит, воспоминания хранятся, но как их извлекать?
blind_oracle
31.01.2023 10:22Понять бы ещё где они хранятся - это тоже открытый вопрос. Есть как нейронные, так и нуклеиновые теории, насколько я помню.
sim31r
01.02.2023 09:57Возможно такие воспоминания хранятся по остаточному принципу и более новые их могут перезаписать. Крокодила из детства вы вспомните, а "чебурашку" уже нет. И такие дыры маскируются, как слепое пятно в глазу, типа нет воспоминаний, нет проблем и с точки зрения мозга этого не было.
Aquahawk
31.01.2023 10:52zstd на прктике оказался круче чем brotli по всем параметрам. Они на сопоставимых уровнях сжатия быстрее, и в то же время гораздо гибче и имеет более широкий диапазон настроек.
engine9
31.01.2023 15:33Хочу немного возразить. Наблюдаю в полях картину, когда люди с не очень развитым мышлением имеют сильно упрощенные категориальные схемы и стремятся к сверхобобщениям. Настолько, что это создаёт им множество психологических проблем и серьёзно огрубляет понимание реальности. Т.е. это "сжатие" работает как дезадаптивный механизм, хотя природой задумывалось обратное.
Практика психотерапевтов по большей части состоит из "дебага" подобных обобщающих суждений и явлению носителю (клиенту) их абсурдности и малоприменимости. Всем нам хорошо известны примеры таких сверхобобщающих суждений:
"Я никогда не найду себе пару!". "Я — неудачник, полное ничтожество". "Все мужики — козлы", "Настоящий мужчина должен ..." (последнее относится не только к женщинам, если что. Существует множество примеров когда мужики себя доводят до депрессии пытаясь вписаться в собственный же шаблон в котором он что-то там всегда и непременно должен).
Так что идеальной формулы знания и интеллекта вывести, как мне кажется, не получилось.
sim31r
01.02.2023 09:58Данинга-Крюгера эффект тоже из той же области, сверхупрощение делает очевидным те вещи, которые на самом деле намного сложнее.
jpegqs
Мелкая придирка: LZMA2 (на картинке) это не метод сжатия, а лишь обёртка/контейнер над LZMA.
3Dvideo
Есть и более серьезные замечания. Из мелочей - похоже автор читал мою статью https://habr.com/ru/post/570694/ (довольно много из нее пересказано), но без ссылки. Впрочем, это не важно, дальше много интересного:
"первый алгоритм с использованием словарей" - переводить словарные методы, как методы с использованием словарей не очень корректно, поскольку как такового словаря может не быть (в качестве словаря используется буфер уже распакованных данных). Ну и он, конечно, был не первым. Скорее первый массовый.
"Иерархия алгоритмов сжатия без потерь общего назначения с 1977 по 2011 годы" - это по факту история ТОЛЬКО словарных методов, и та не полная, а не всех алгоритмов общего назначения. В эти годы было огромное число публикаций и по развитию PPM, и по контекстному моделированию, и с использованием сортировочных преобразований.
"С этого началось использование нейросетей в сжатии данных." - тоже неправда. В видеокодеках для внутренней оптимизации нейросети начали использовать намного раньше. Вообще пробовали neural network data compression с ограничением до 2010 года (к примеру) набрать? Внезапно там десятки тысяч статей...
"Описание всех программ и алгоритмов см. здесь." Я бы не сказал, что это описание программ, а тем более алгоритмов, тем более всех. Это просто список участников бенчмарка со ссылками. Чтобы найти описания алгоритмов (особенно для части участников) придется изрядно попотеть, а алгоритмы части вообще не опубликованы.
"Из других новинок последних лет можно упомянуть алгоритм Brotli-G, основанный на обычном Brotli, но оптимизированный для GPU. ... это первый в мире архиватор на GPU. Поддержка есть во всех современных браузерах."
Нужен ли фактчекинг для статей на хабре? Вот реально первый в мире? Пробовали "gpu lossless compression" на сколаре до года появления Brotli-G поискать? Явно нет))) И чья поддержка есть во всех современных броузерах гуглового Brotli или AMDшного Brotli-G? Из контекста складывается впечатление, что Brotli-G.
"на этом тезисе основан компрессионизм — теория мышления на основе сжатия данных. По сути, если рассматривать человеческий разум и интеллект в таком виде, то сжатие данных — это главная концепция в нашей жизни". Google Scholar - очень полезный инструмент. У статьи, на которую вы ссылаетесь - всего 2 (два) цитирования за 7 лет. На нее даже ее же авторы позднее не ссылаются. Да и вообще если на сколаре Compressionism поискать, то 74 статьи за все годы (и многие - странные). Я было подумал, что сжатием почти 30 лет занимаюсь, вдруг чего не слышал (такое бывает, разумеется), но тут как-то совсем уж в духе пересказа журналистом британского ученого получается. Это нормально для Хабра?
"По мнению учёных-компрессионистов" Matt Mahoney хоть где-то называл себя компрессионистом? А если я у него спрошу? )))
Про сжатие, как концепцию, есть, конечно, что сказать (та же ChatGPT по сути предсказывает каждый следующий токен), но нам бы для начала хотя бы с фактчекингом разобраться. ) Или для хабра сойдет?
phenik
Эти авторы в основном методологией занимаются, реализацией в своем собственном понимании компрессионизма другой автор.
Deosis
Мозг сжимает и разжимает данные, используя себя в качестве контекста. Вот и получается, что "раньше трава была зеленее", потому что воспоминание создается одним мозгом, а интерпретируется немного другим.
phenik
Ну так можно сказать, но это почти ничего не сказать) Не опускаясь до уровня механизмов приведу один пример из психологии восприятия — перцептивной готовности, см. примеры проявления. Может еще слышали о родственном прайминге. Подобных механизмов много на разных уровнях мозга. Вообще, это весьма контекстная среда. Настолько, что сейчас исследования в этой области все чаще для его описания используют квантовый формализм. Как не странно, он лучше всего описывает его проявления, видимо потому что сама КМ принципиально контекстуальна.