На фоне Neuralink Илона Маска, получившей разрешение на тесты с людьми, тема плотного контакта мозга и машин переходит из разряда научной фантастики и отдалённых перспектив в проблему настоящего. Что представляют себе люди, когда слышат о проектах вроде Neuralink? Скорее всего, о новых возможностях воплощения своих задач и желаний, которые это создаёт: работа и игры со скоростью мысли. Только представьте: набирать текст со скоростью, с которой он приходит в голову. Никаких больше потерянных мыслей!
А вот три вещи, о которых многие, возможно, не задумываются, потому что в медиа это освещается гораздо меньше:
Машинно-мозговой интерфейс (ММИ) — это двусторонняя дорога, и те же самые механизмы, которые открывают мозгу прямой доступ к машинам, открывают машинам прямой доступ к мозгу. Это значит, что ММИ выведет на новый уровень не только эффективность взаимодействия человека с машиной, но и возможность машины контролировать (мониторить) человека на уровне ощущений и глубже.
Сочетание повышенной продуктивности с повышенной возможностью контроля делает ММИ технологией, крайне интересной работодателям. Вполне вероятно, что большинство людей сперва получат доступ к технологиям вроде Neuralink не частным порядком, так как это, скорее всего, будет дорогая и сложная игрушка, — а от работы. А, значит, и пользоваться ими будут не в своих интересах, а в интересах начальства.
Это уже происходит: механизмы прямого контроля мозга активно развиваются и уже внедряются в разных видах многими крупными компаниями. Гонка вооружений между правительствами, бигтеком и крупными корпорациями за контроль над человеческим мозгом уже идёт.
На Всемирном экономическим форуме в Давосе 2023 года прозвучало выступление профессора правовой этики Университета Дьюка и футуриста Ниты Фарахани «Готовы ли вы к прозрачности мозга?»
В начале него она показала трёхминутный мультик, который представил реалистичный возможный сценарий недалёкого будущего работников с подключённым мониторингом мозговой активности:
Вы в состоянии потока. Вы отлично поработали, все задачи выполнены, и, кажется, ваш разум не был таким острым последние десять лет. Чувствуя вашу радость, ваш плейлист ставит вашу любимую песню. Музыка начинает играть, вызывая мурашки по вашей спине. Вы бросаете взгляд программу в одном из фоновых окон, и замечаете знакомую картину, которая возникает каждый раз, когда вас переполняет удовольствие: тета-ритм в височных областях вашего мозга снижается. Мысленно вы перемещаете курсор влево и прокручиваете запись активности своего мозга за последние несколько часов. Вы можете видеть, как ваш уровень стресса рос по мере приближения дедлайна по отправке отчёта, вызывая пик активности ваших бета-волн прямо перед тем, как появляется напоминание сделать мозговой перерыв. Ваши мысли начинают блуждать в сторону вашего нового коллеги — хотя вам известно, что вам не следует о нём мечтать из-за политики компании, запрещающей отношения на работе, вы не можете немножко не фантазировать. Но потом начинаете переживать, что начальница заметит ваши любовные переживания, когда проверит активность вашего мозга, и переключаете своё внимание обратно на настоящее… Когда вы приходите на работу на следующий день, над офисом нависла мрачная туча: вместе с электронными письмами, текстовыми сообщениями и данными GPS, власти затребовали по распоряжению суда данные об мозговых волнах сотрудников за прошлый год. У них есть убедительные доказательства, что один из ваших коллег совершил крупное мошенничество с использованием электронных средств связи. Теперь они ищут его сообщников: вы узнаёте, что они ищут синхронизированную мозговую активность между ним и людьми, с которыми он работал. Хотя вы знаете, что ни в чём не виноваты, вы тайно работали вместе с ним над новым стартапом. Трясясь, вы снимаете наушники
В своей презентации Фарахани пыталась обратить внимание на пользу отслеживающего мозговую активность устройства для вашего ментального и физического здоровья, рисуя картины контроля за своим состоянием и детектирования любых тревожных звоночков для обращения к врачу. Но даже аудитория экономического форума прозвучала смятённо, когда в конце своей презентации она спросила зал: «готовы ли вы к этому будущему?» А затем поставила точку фразой «Возможно, вы удивитесь, но это будущее уже здесь. Сценарий этого видео основан на уже существующих технологиях. ИИ позволяет расшифровывать мозговую активность способами, которые мы не представляли возможными…».
Носимые датчики — наушники, повязки, миниатюрные наклейки, которые можно спрятать за ухом, — позволяют:
Определять ваше эмоциональное состояние;
Замечать и расшифровывать лица, которые вы видите;
расшифровывать простые геометрические формы, цифры, ваши ПИН-коды.
Наручные датчики вроде часов позволяют расшифровывать сигналы рукам, что печатать.
Всё это подаётся под соусом создания общества полного согласия во имя человеческого благополучия. С такими бонусами, как возможность помочь сохранить ваше здоровье, сделать вас более продуктивным, избавить вас от определенных пороков и даже бороться с преступностью. Что может пойти не так?
«Компании уже инвестируют в технологии для сканирования мозга сотрудников»: общий месседж для этого класса звучит на хорошо знакомом корпоративном доброязе: это инструмент не только для повышения производительности, но и обеспечения благополучия сотрудников. Да, технически, они могут следить за сотрудниками, но только для их же блага: да, мы собираемся следить за вашей продуктивностью, но для нас это не главное — главное обеспечить ваше благополучие, вашу безопасность, мы контролируем вас в ваших же интересах.
Фарахани продолжает: «Рассмотрим тот факт, что многие рабочие местах требуют от людей постоянно бодрствовать и быть начеку, чтобы хорошо выполнять свою работу. Иногда этого не происходит. Возьмём пример, где этот дальнобойщик решил преодолеть 1500 миль за один двадцатичасовой рывок. Это куда дольше, чем дальнобойщикам положено проезжать за раз. Его работодатель узнал о его решении после аварии со смертельным исходом, который стал катастрофой для компании и стоил многих жизней». Заметьте, что, судя по порядку приоритетов, она предлагает слушателю поставить себя на место именно корпорации — а не пострадавших людей или общества в целом.
Технологии сканирования мозга, мониторинга человеческого состояния — это прекрасные, по идее, вещи. Психологические исследования показывают, что осознание своих эмоций само по себе является инструментом их контроля: например, если человек бушует от злости, сам факт осознания, что он испытывает злость, снижает уровень злобы до контролируемого уровня. То есть, имея такой инструмент, человек сможет вывести практику mindfulness (осознанности) на новый уровень: контролируя свои негативные эмоции и давая простор позитивным, реализуя своё право на полноценную счастливую жизнь с помощью технологических новинок.
Так почему же презентации, подобные этой, производят впечатление ожившей антиутопии? Потому что многие люди начинают осознавать, что технологии сами по себе не решают никаких проблем. Каждая технология может быть обращена и во зло, и во благо — разница не в технологии как таковой, технология остаётся той же — а в том, кто её применяет. Если инструмент мониторинга мозговой активности применяет сам человек — это ключ к его освобождению. Но если этот инструмент применяет начальник, работодатель, чиновник или полицейский — этим же ключом на нём защёлкнутся кандалы небывалой тугости: не вокруг рук или ног, а вокруг мозга.
Восход bossware
Bossware — общий термин для устройств цифрового наблюдения за работниками. По словам Фарахани, 5000 компаний по всему миру уже отслеживают активность мозговых волн своих сотрудников, чтобы следить за уровнем их усталости. Например, одна из крупнейших горнодобывающих компаний в мире, где сотрудники носят каски и устройства, похожие на бейсболки, которые определяют усталость.
Ещё одно наблюдение: ни в статье Bloomberg об этом, ни в выступлении Фарахани не звучит ни слова об облегчении условий, которые приводят к переутомлению рабочих в первую очередь.
Проблема, которую ставит эта технология куда реалистичнее традиционных страшилок о восстании машин или конце света в виде технологической сингулярности: пока нет оснований считать, что машины не будут друзьями человека. Вопрос в том, друзьями какого именно человека они будут и против кого они будут дружить. Будет ли эта технология служить улучшению качества, здоровья и условий жизни каждого человека — или же обеспечения контроля над начальством всех мастей — от менеджеров до чиновников, от охранников до полицейских?
Неважно, какие мотивы озвучивают и даже во что верят боссы, внедряющие всё более мощные версии bossware: их единственная функция определяется как все, что необходимо для служения корпоративным хозяевам. Это, пожалуй, единственный реальный вариант использования этого приложения и единственный способ, которым этот тип технологии действительно является финансово жизнеспособным.
«Некогда автономные ковбои дорог, теперь привязанные к мониторам и жилетам для наблюдения, сканируемые интеллектуальными камерами и отслеживаемые во время вождения, вынуждены ехать вместе с молчаливыми шпионами вместо автостопщиков вроде меня». Это не сценарий какого-то фильма, это реальность: реальные приложения технологии наблюдения уже используются для слежки за людьми. «В 2017 году Департамент транспорта США (DOT) решил что-то сделать с ужасными авариями в дальнемагистральных грузоперевозках. Проблема, по мнению DOT, заключалась в том, что водители уклонялись от правил «рабочего времени», ограничивающих продолжительность вождения. Их решением стало обязать дальнобойщиков установить цифрового попутчика для фиксации нарушений. Начиная с 2017 года DOT требует, чтобы все грузовики были оснащены электронными устройствами регистрации (ELD)».
Это именно тот сценарий, который профессор Фарахани использует в своей презентации в Давосе, чтобы проиллюстрировать вариант использования такой технологии мониторинга мозга. Однако, согласно репортажу American Prospect, после развертывания ELD безопасность грузоперевозок осталась прежней или снизилась. Где-то количество аварий даже возросло. В итоге, дороги не стали безопаснее, но власть корпоративных начальников выросла. Каждая минута на холостом ходу теперь представлена мигающей красной точкой данных в штаб-квартире. Начальство информирует водителей, когда стоянка для грузовиков длится дольше, чем ожидалось. Когда водитель устал или столкнулся с плохой погодой, он больше не может самостоятельно решить поспать или сделать перерыв, потому что технология слежения сигнализирует штабу, что грузовик простаивает. ELD также создают новую структуру постоянного сбора данных, которая позволяет работодателям более точно устанавливать, изменять и удерживать заработную плату. Они используют данные, чтобы стимулировать конкуренцию между водителями, стыдить дисциплинировать менее продуктивных водителей. Не зря это называется «человеческими ресурсами» (human resources): в конечном итоге, с точки зрения корпораций, люди — это ресурсы товарного производства. Любой момент, когда ресурс не выполняет эту функцию, является издержкой.
На первый взгляд, новые датчики мозговой активности решают эту проблему: к цифровому погонщику ELD в bossware добавляется цифровая няня, которая способна объективно установить, когда сотрудник устаёт или теряет концентрацию, не давая ему довести ситуацию до катастрофы. Но ценой этого становится практически полное лишение человека автономии во время работы.
Логика бизнеса диктует повышение продуктивности и снижение издержек, её логическое развитие: или 1) полный отказ от людей, или 2) превращение людей в программируемых роботов без свободы принятия решений.
Пока медиа продуцируют инфошум об угрозе первого сценария, полной замены людей машинами, в настоящем реализуется второй. Вред от этого двойной: мало того, что своими апокалиптическими заголовками медиа отвлекают внимание людей от реально происходящих изменений, так они ещё и создают ложную дилемму, где на фоне полной потери работы машине продолжение работы под полным контролем машины начинает смотреться выигрышным вариантом.
Еще одна цитата из Давоса 2023 года, где Клаус Шваб, председатель Всемирного экономического форума сказал: «Эта технологическая трансформация, которая как раз переходит в экспоненциальную фазу — искусственный интеллект, метавселенные, новые космические технологии, синтетическая биология — я мог бы продолжать ещё долго, — очень сильно повлияет на нашу жизнь, наша жизнь через 10 лет будет совсем другой, и кто овладеет этими технологиями в каком-то роде овладеет миром». Давосский форум и Клаус Шваб — постоянные участники теорий заговора, и его выбор слов в данном случае не помогает это исправить. Но честность важнее: технологии, продаваемые под соусом заботы о людях, при нынешнем устройстве общества станут инструментом тех, кто уже находится у власти.
При этом среди видов человеческой деятельности хватает тех, где тотальный контроль за самочувствием, чувствами, мыслями и действиями человека вполне оправдан и даже необходим: в некоторых профессиях или определённых операциях, связанных с большой ответственностью, где цена человеческого фактора слишком высока и поэтому исполнитель, понимая меру своей ответственности, добровольно соглашается на такой контроль. В фильме «Тихоокеанский рубеж» мозговая синхронизация полностью раскрывала все чувства и воспоминания партнёров, в тандеме управляющих гигантскими боевыми роботами, друг другу — но такова была цена защиты человечества от гигантских монстров из другого измерения.
В реальности это могут быть куда более тривиальные вещи: хирург во время операции, спортсмен во время тренировки, космонавт во время миссии.
В фильме на этом моменте делался специальный акцент: такая прозрачность во имя общего дела, требует особого уровня доверия. В реальности это тоже актуально, вот только в реальности не будет уважительного равенства партнёров, специально отобранных по психологической совместимости. В реальности речь будет идти о приниципиально неравных отношениях начальник-подчинённый, при этом начальника не выбирают: начальника назначает ещё более высокое начальство, и свобода выбора подчинённого сводится в лучшем случае к возможности смены работы, а в рамках работы уже отсутствует.
При этом начальство вполне может навязать работнику круглосуточный мозговой контроль, рационально обосновав это рабочими потребностями: научно доказано, что качество и количество сна определяет продуктивность человека на следующий день, вечернее времяпрепровождение — например, встреча за кальяном, алкоголь — тоже могут определить самочувствие и работоспособность человека на следующее утро. Имея возможность потребовать сотрудников дать доступ к мониторингу времени отхода ко сну и качества сна, бизнесы это сделают. Продуктивность в рабочее время станет доводом для круглосуточного ежедневного непрерывного контроля, на который большинству работников в одиночку будет нечем крыть. Но это полбеды: возможности датчиков, доступные уже сегодня, означают, что вместе с круглосуточным контролем администраторам системы и начальству будут потенциально доступна запись всех эмоциональных переживаний, физической активности, местоположения, лиц, которые видит человек, ПИН-кодов, которые он вспоминает, всех команд мозга рукам, включая пароли и вообще весь текст, который он набирает.
Ответить на это человек может мало что: поодиночке ему доступна разве что смена работы. Но что, если другой работы нет, или все работодатели применяют это, или даже согласие на ношение bossware 24/7 покупается за повышенную зарплату, ставя перед человеком дилемму из определённости большего дохода против всего лишь вероятности абьюза начальством своей власти? Противопоставить этому можно только объединение в профсоюзы и государственное регулирование.
Поэтому член Ассамблеи Конфиденциальности и защиты прав потребителей Калифорнии Эш Калра предложил в апреле законопроект, который должен был обеспечить работникам некоторую защиту от слежки и репрессий со стороны работодателя в нерабочее время. Закон о подотчётности применения технологий на рабочем месте предлагал набор стандартов конфиденциальности для инструментов мониторинга рабочего места работодателя.
Государственные органы сами по себе могут быть одним из абьюзеров этой технологии, с потенциалом совершенно фантастической степени контроля во сне и наяву.
Однако когда речь идёт о повседневном контроле начальства, государство становится союзником, способным установить жёсткие лимиты своеволию нанимателей для защиты частной жизни работников. Вопрос в том, во имя чего и для кого создаются правила: они централизуют децентрализуют власть? Во главу угла поставлена выгода корпораций или всех граждан?
Кстати, законопроект о подотчётности применения технологий на рабочем месте даже не попал на голосование, его сняли с рассмотрения Ассамблеи Конфиденциальности и защиты прав потребителей еще до слушания. По словам его автора, консультации с другими депутатами, заинтересованными сторонами и членами комитета «показали, что этот сложный вопрос требует больше времени для дальнейшего взаимодействия». Большой бизнес предсказуемо вмешался, чтобы опорочить и убить этот законопроект как убийцу рабочих мест.
Нынешняя экономическая парадигма требует от бизнеса непрерывного роста, стимулируя поиск новых границ, новых территорий, открытия новых рынков для освоения и монетизации. Так уж получилось, что люди уже колонизировали каждый уголок земного шара, так что теперь разум, который когда-то был неприкосновенным укрытием, стал «последним фронтиром» — нетронутой сокровищницей, взятой в осаду для завоевания и безграничной эксплуатации.
Как прогресс превращается в антиутопию
Как и в случае с ИИ, угрожающим превращением интернета в помойку, возможность чтения мыслей и чувств машинами не означает проблемы сама по себе. ИИ не угрожает рабочим местам в принципе — это современный фрейминг, навязанный медиа, которые способны видеть мир только в капиталистической парадигме. В не таком уж далёком прошлом, когда ещё была жива конкуренция образов будущего, люди видели в прогрессе технологий не угрозу потери каким-то людьми работы, а обещание всем людям работать меньше. Великий экономист Джон Мейнард Кейнс ещё в 1930 году предсказывал, что его внуки будут работать 15 часов в неделю. Его можно понять: за первые сто лет с момента появления массового промышленного норма рабочих часов в развитых странах сократилось вдвое: с 80-100 часов в первой половине XIX века до 40 часов к 1930. Однако за вторые сто лет ничего не поменялось, а с конца XX века начался постепенный рост фактической продолжительности рабочей недели, хотя рост производительности труда, продолжавшийся весь XX век, в этот период только ускорился.
Идея, что технологический прогресс будет работать для облегчения труда людей, была мейнистримом экономического и социального футуризма сто лет назад. Тогда как представления, что люди будут продолжать работать на грани износа, производя при этом в разы больше продукта, были материалом для антиутопий. Сейчас, когда тема пересмотра общественного договора, поднимается главными бенефициарами существующих правил, самое время вспомнить, что кроме парадигмы «от ИИ выиграют те, кто его контролируют» существует ещё парадигма «от ИИ выигрывают все», что ситуация, когда ИИ оставляет людей без работы — это один из вариантов выбора, который куда хуже варианта «с ИИ люди начинают меньше работать за большие деньги». Если ИИ позволяет увеличить производительность условного работника вдвое, это не значит, что он должен работать вдвое больше, чтобы оправдать свою зарплату, а значит, что он может работать по меньшей мере вдвое меньше за те же деньги, или на 40% меньше, получая на 40% больше.
Мозговой контроль за работниками с таким вариантом прогресса несовместим. Пока работники обязаны работать 40 часов в неделю минимум, работодатели сделают всё, чтобы выжать из этого времени максимум. При сохранении сорокачасовой рабочей недели на бумаге, по факту это приведёт к возврату практик раннего капитализма из XIX века: без возможности отдохнуть и отвлечься в рабочее время, люди будут вынуждены работать на износ, а с учётом контроля режима их сна и отдыха, всё их время, по сути, станет рабочим — 168 часов в неделю. В долгосрочной перспективе это несёт вред самим работодателям: это гарантирует беспрецедентный уровень выгораний, болезней, смертей и самоубийств от переутомления, соответственно — высокой текучки и неминуемого исчерпания рынка труда. Это всё — не гипотетически, это суровая реальность, с которой уже сталкивается признанный лидер использования bossware Amazon: до сих пор компания преследовала сознательную политику эксплуатации работников на износ, выжимая c помощью электронных погонщиков физический максимум из складских работников и курьеров ценой их быстрого выгорания, доведя текучку до 159% в 2020 году: то есть, средний сотрудник выдерживал восемь месяцев работы в таком темпе. В результате чего, по собственным данным компании, они могут исчерпать свою нишу рынка труда до последнего человека, ещё не работавшего на Amazon, уже в 2024 году.
С нерегулируемым распространением bossware это станет проблемой всех отраслей, куда придёт контроль за мозговой активностью работников. При этом сами же компании не смогут ничего с этим поделать: против понимания угрозы исчерпания рынка труда в долгосрочной перспективе выступает принцип максимизации прибыли. В краткосрочной перспективе бизнес, который наплюёт на долгосрочные последствия неограниченной эксплуатации людей, получит конкурентное преимущество перед бизнесом, который будет осторожнее с человеческим ресурсом, и, как максимум — сможет успеть вытеснить конкурентов с рынка до исчерпания рабочего ресурса. При этом, «эксплуататоры» отравят рынок труда для всех, и когда исчерпание рынка наступит, оно наступит для всех — и для «гуманных» бизнесов тоже. Поэтому рассчитывать на саморегуляцию во внедрении bossware и контроля за мозгом не приходится: ей противоречит сама логика «свободного рынка», и если её оставить на усмотрение рынка — гиперэксплуатация с последующим кризисом рабочей силы неизбежны. В конечном итоге, регулирование этой технологии неизбежно. А значить, дожидаться этой развязки вовсе необязательно.
Альтернатива: контроль — людям
Как мы уже говорили, и как обещают сами евангелисты сканеров мозговой активности, это может быть чудесной возможностью для людей взять под контроль свою жизнь и улучшить её качество. Поэтому поощрять всеобщее внедрение мозговых сканеров можно и нужно. Но поскольку подвохом технологии является то, что кто контролирует эти данные, тот контролирует эту жизнь, то контроль над данными должен быть только у самого пользователя. Разница между тем, кому доступны данные мониторинга — это разница между утопией и антиутопией в данном случае. Чтобы превратить корпоративную антиутопию в гуманистический прогресс, нужно выполнить минимум два условия:
радикальное сокращение длительности рабочей недели — например, до 30 часов с обычными датчиками, как сейчас работают шахтёры и дальнобойщики, и до «кейнсовских» 15 часов с мозговым контролем,
строгие правила доступа к данным: полный доступ только у пользователя и ограниченными условиями передачи доступа другим.
Такими условиями могут быть:
передача тревожных данных, которые требуют, скажем, вызова скорой или немедленной паузы в работе;
специальные ситуации, требующие максимального контроля — хирургические операции, профессиональный спорт, работа в экстремальных условиях, с жёстко заданным протоколом и параметрами контроля.
Судебное решение.
Работодатель от этого всё равно выиграет: планы и задачи никто не отменял, и они по-прежнему смогут оценивать работников по их результативности, тогда как у работников сохраняется стимул минимизировать время их выполнения.
Однако вместо того, чтобы начальство использовало bossware для выжимания всех соков из сотрудников, сотрудники получат инструмент, дающий возможность самостоятельно «настраивать» себя для выполнения своей работы за минимум времени в своём, подсказанном ИИ ритме.
Осозание того, что проблема не в технологиях, а в обществе, даёт свободу выбора: антиутопия корпоративного контроля за мыслями и поступками работников является неизбежностью только в случае бездействия общества. Осознание обществом возможности регулировать такие процессы, не отдавая их на откуп воле корпораций, даёт возможность превратить технологический прогресс в то, чем он и должен быть: инструмент освобождения, а не закрепощения труда.
Автор текста: @EgorKotkin
Иллюстрации: Антон Дмитриев