С выходом macOS 10.14.5, Apple добавила обязательную процедуру нотаризации (Notarization process) приложений перед их распространением. Что это и какие сложности возникли с этим обновлением при разработке на Electron.js я и хотел бы рассказать.



Введение


Спустя 2 года после бума Electron.js, все горячие холивары о том насколько он плох и зачем нужен — затихли. Давайте не будем разжигать их заново в комментариях. Спасибо.


На нашем проекте используется electron-builder для сборки приложения, но и для electron-packager эта процедура будет примерно аналогична.


Сам проект представляет из себя лаунчер для облачного гейминга, через который запускается нативный клиент для доступа к удаленному компьютеру.


Подписание приложения c electron-builder не выглядит сложным, но для полноты картины, я в кратце расскажу и об этой процедуре. Если у вас нет проблем с подписанием приложения, можете пропустить эту главу.


Подписание приложения


Для подписания приложения нам необходимо экспортировать сертификаты из личного кабинета разработчика Apple. Нам потребуются:


  • Developer ID Application
  • Developer ID Installer
  • *3rd Party Mac Developer Application и 3rd Party Mac Developer Installer (Если планируется публиковать приложение в AppStore)

Сертификат Developer ID Installer выпускается под определенное приложение, для этого необходим bundleID. У electron-builder он задается параметром "appId" в package.json



Сертификаты необходимо собрать в единый файл. Для этого добавляем их в keychain (2 клика по сертификату).
Затем переходим в keychain, выбираем нужные сертификаты и в контекстном меню нажимаем "export items". После экcпорта мы получаем один файл с расширением .p12.



После полученного файла сертификата, добавляем следующие записи в переменные окружения


  • CSC_LINK (путь до файла сертификата .p12)
  • CSC_KEY_PASSWORD (пароль доступа к сертификату)

Если не добавлять эти переменные, то сборщик будет автоматически искать подходящие ключи в хранилище keychain. Добавление этих записей, позволяет точно определить сертификаты, которые вы хотите использовать для подписи.


После этих операций, вы можете запускать процесс сборки и всё должно пройти гладко.


Гладко это работало до выхода macOS 10.14.5....


Что изменилось с выходом macOS 10.14.5


Небольшое отступление. Выполняя ночью последние работы над новым патчем, решил оставить сборку продакшн версии на утро. Заметив, что пришло обновление на macOS запустил его и пошел спать.


На следующее утро с удивлением увидел, что сборка падает от незнакомой ошибки в момент подписания приложения — "Unnotarized Developer ID".


Не откладывай на завтра то, что можно сделать сегодня. Бенджамин Франклин

Суть проблемы


Начиная с macOS 10.14.5, Apple ввела обязательную процедуру нотаризации. Первая статья Apple об этом была в 2018 году, но именно с этим обновлением эта процедура стала обязательной. Как она выглядит.


Вы собираете приложение -> отправляете его на сервер Apple -> Apple заверяет его -> Возвращает статус успешного заверения -> Выполняется команда установки штампа заверения.


Для разработчиков на Xcode необходимо просто поставить галочку о нотаризации



Так же процесс нотаризации собранного приложения можно выполнить командой в терминале.


$ xcrun altool --notarize-app --primary-bundle-id "com.example.ote.zip" --username "AC_USERNAME" --password "@keychain:AC_PASSWORD" --file OvernightTextEditor_11.6.8.zip

  • primary-bundle-id — bundleID приложения
  • username — логин пользователя на developer.apple.com
  • password — "app-specific password". Его можно создать в личном кабинете appleid.apple.com под учеткой разработчика.

Если не выполнить процедуру нотаризации, то при попытке пользователя установить приложение, вылетает окошко с ошибкой. За проверку на безопасность приложения отвечает gatekeeper. Именно он и ломал сборку приложения на electron-builder.



Как выглядел процесс сборки electron-builder


После сборки приложения в .app файл, с помощью утилиты electron-osx-sign происходило подписание приложения. После подписания сертификатом запускался процесс проверки приложения gatekepper'ом. Но с выходом обновления gatekeeper стал проверять и корректную нотаризацию приложения, это и не давало успешно завершить процедуру подписания приложения.



Патч для возможности нотаризации


Github пользователь Kallin довольно оперативно предложил коммит решения, с добавлением двух новых параметров в настройки. Первый это "gatekeeperAssess" — отключает валидацию сборки после подписания и второй "sign" — который отключает подписание сертификатом установочного файла(dmg). Данный коммит вошел в релиз electron-builder 20.43.0.


Для самого процесса нотаризации у electron-userland есть модуль electron-notarize, который выполняет эту задачу, нужно лишь написать небольшой скрипт и запустить его, используя хук afterSign.


Процесс подписания и нотаризации приложения



Первоначально нужно проверить, что у вас установлен electron-builder версии >=20.43.0 и установить пакет electron-notarize.


В переменные окружения добавим 2 записи:




Теперь создадим скрипт нотаризации, который будет выполняться после подписания приложения.


const notarize = require('electron-notarize').notarize;

module.exports = async (context) => {
    const { electronPlatformName } = context;
    if (electronPlatformName === 'darwin') {
        try {
            console.log('Try notarize app');
            await notarize({
              appBundleId: 'APP_BUNDLE_ID',
              appPath: './dist/mac/APP_NAME.app',
              appleId: process.env.appleId,
              appleIdPassword: process.env.appleASP,
            });
            console.log('Success notarize');
        } catch (err) {
            console.log(err);
        }
  }
};

Сохраняем его в удобном для вас месте.


Так же для корректной нотаризации нам потребуется определить права доступа
к ресурсам системы для нашего приложения. Для этого создадим файл build/entitlements.mac.inherit.plist


<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
  <dict>
    <key>com.apple.security.cs.allow-jit</key>
    <true/>
    <key>com.apple.security.cs.allow-unsigned-executable-memory</key>
    <true/>
    <key>com.apple.security.cs.allow-dyld-environment-variables</key>
    <true/>
    <key>com.apple.security.cs.disable-library-validation</key>
    <true/>
    <key>com.apple.security.cs.disable-executable-page-protection</key>
    <true/>
    <key>com.apple.security.cs.debugger</key>
    <true/>
    <key>com.apple.security.automation.apple-events</key>
    <true/>

  </dict>
</plist>

Содержимое файла в моем случае. Для вас может быть другая конфигурация. Описание всех полей.
Обязательным для Electron.js является — com.apple.security.cs.allow-unsigned-executable-memory.


Теперь обновим настройки в package.json


В разделе для macOS:



  • gatekeeperAssess (отключает валидацию приложения на стороне electron-osx-sign)
  • hardenedRuntime (позволяет создать перечень разрешений безопасности и доступа к ресурсам системы)
  • entitlements (путь к файлу резрешений доступа для нашего приложения)

В общем разделе настроек electron-builder:



  • afterSign (путь до скрипта нотаризации, который будет зупущен после подписания приложения)

Запускаем процесс сборки. Может показаться, что он немного подвис, но передача файла на сервер Apple и ожидание ответа занимает какое-то время (от 3 до 10 минут)


Состояние нотаризации можно посмотреть в терминале, выполнив команду:


$ xcrun altool --notarization-history 0 -u $appleId -p $appleASP


Ответ будет представлен таблицей. Поле статус может иметь значение 'process', 'approved', 'invalid'



При статусе 'invalid' по номеру запроса можно посмотреть, что именно пошло не так.


$ xcrun altool --notarization-info "RequestUUID" -u $appleId


Вот и весь процесс подписания и нотаризации. Надеюсь, моя статья окажется вам полезна. Спасибо.


Небольшое дополнение


При передаче приложения для тестирования, обнаружился интересный глюк. Приложение полученное через Телеграм, просто отказывалось запускаться. При просмотре логов обнаружилось, что приложение помещено в карантин Телеграмом. По какой причине и как это произошло, я не смог найти ответ. При отправке файла через Яндекс.Диск( или любой другой способ, чтобы скачать через браузер) такой проблемы не возникает.



Полезные ссылки


Комментарии (25)


  1. Koneru
    12.06.2019 19:14

    Спасибо, для Linux и Windows сборка приложения происходит за 3-5 минут, для macOS теперь 20+. Интересная ситуация, главное что старые приложения не из стора теперь невалидны, несмотря на подпись.


    1. arxanter Автор
      12.06.2019 19:26

      Обновили Gatekeeper. Нотаризировать предыдущие сборки довольно-таки легко. Но факт в том, что как-то тихо это нововедение произошло, на it-порталах это не обсуждали. А неудобств доставило прилично.

      image


  1. kahi4
    12.06.2019 19:30
    +2

    Т.е. теперь для open source тоже нужно подписывать? Получается, даже чтобы распространять бесплатное ПО на Mac OS нужна девелоперская учетная запись, которая вдобавок платная, да ещё и по подписке?


    1. Koneru
      12.06.2019 19:32

      Уже давно сертификаты платные(99$/y), без них блокировало установку, но была возможность продолжить из настроек, теперь это тоже запретили.


      1. shifttstas
        12.06.2019 19:54
        +1

        Почему запретили? Правый клик + открыть или изменение настроек GateKeeper в системе.


        PS что плохого в том, что большинство пользователей будут использовать только подписанные приложения? Тем кому надо — отключат опцию и будут ставить всё что угодно.


        1. Koneru
          12.06.2019 20:05

          arxanter:

          Если приложение подписано, но не нотаризировано то при попытки установки gatekeeper будет блокировать попытку установки, говоря что приложение ненадежное( там нет кнопки — «установить в любом случае») ©

          У меня старенькая Sierra, поэтому не могу подтвердить. Данное поведение, вроде, для не подписанного приложения также актуально.


          1. arxanter Автор
            12.06.2019 21:53

            У неподписанного, насколько я помню, будет кнопка -«Установить на свой страх и риск» или в настройках безопасности появится кнопка разрешить подозрительному приложению доступ. Но я не проверял поведение неподписанного приложения в 10.14.5. Могу завтра провести опыты)


            1. shifttstas
              12.06.2019 23:44

              Правый клик мыши + открыть, обычно так работало.


    1. arxanter Автор
      12.06.2019 19:38

      Не задумывался по поводу open source под MacOS. Получается что так. Все ради защиты и безопасности)


      1. namikiri
        13.06.2019 12:26

        Всё ради защиты пользователей от мышления.


    1. DarthVictor
      13.06.2019 00:31

      А какой именно софт?

      sudo brew cask install myopensoftware
      более не работает?
      Может кто-нибудь скинуть пример софта, я проверю.


      1. arxanter Автор
        13.06.2019 00:51

        Проверил vlc, поставил новую версию(скачав дистрибутив) и проверил валидатором

        image

        Нашел вот такой пункт в списке изменений MacOs 10.14.5(link)

        image

        Но, не имею представления, что подразумевается под Kernel extensions.


        1. DarthVictor
          13.06.2019 01:28

          Тоже не понял, вообще этот GateKeeper по идее отключается, но я не могу найти неподписанного софта для проверки. Даже kde-ешный софт оказался подписанным.


        1. creker
          13.06.2019 03:08

          Драйвера и прочие модули, которые подгружаются в пространство ядра. Те самые *.kext


    1. creker
      13.06.2019 21:09
      +2

      Нет. На 10.14.5 неподписанный софт работает так, как работал. Если чего-то не нравится, то в настройках безопасности придется дать разрешение на запуск. Единственное, есть отдельная категория уж очень тупых проверок, которые непонятно почему и как срабатывают, но блочат файлы так, что их вообще ничем не открыть. Даже в hex редакторе не посмотреть. Какой-то корявый карантин — меткой специальной помечается файл и все пропало. Пока не удалишь через терминал ее, ничего с файлом сделать невозможно. Но такое редко происходит.

      Mac apps, installer packages, and kernel extensions that are signed with Developer ID must also be notarized by Apple in order to run on macOS Catalina.

      Тут вот намек, что нотаризация касается как раз подписанного софта. Корректно подписанный софт дополнительно еще требует нотаризации — т.е. подтверждение, что эта конкретно версия софта никем посторонним не тронута. Если что, тикет нотаризации можно отозвать.

      Notarization also protects your users if your Developer ID signing key is exposed. The notary service maintains an audit trail of the software distributed using your signing key. If you discover unauthorized versions of your software, you can work with Apple to revoke the tickets associated with those versions.

      Т.е. если утек ключ, то можно не отзывать сертификат, тем самым ломая вообще все подписанные им приложения, а заблокировать только конкретные версии приложения по тикету нотаризации. Вариант отзыва сертификата, но одобрения запуска подписанных им приложений до даты отзыва, им не подходит получается. Судя по тому, что нотаризация проверяет на всякие вредоносные признаки, они хотят таким образом контролировать софт, распространяемый вне AppStore.


  1. token
    12.06.2019 21:54

    Ой, в задницу Эппл с их нововведениями, чем дальше тем больше макось превращается в сборник какого то барахла.


    1. namikiri
      13.06.2019 12:28

      Мыши всё равно продолжат плакать и колоться. Яббл же, а не какой-то этот ваш вот да.


  1. Develar
    13.06.2019 02:56

    Как автор electron-builder, замечу, что планов это как-то упростить в ближайшее время нет.


    1. arxanter Автор
      13.06.2019 11:56

      Приятно удивлен, что вы русскоговорящий. Процесс не сильно затруднен, сложно было составить картинку, как всё завести. Документация дополнится под изменения и описание процесса? Просто, как я понял, она в приватном репозитории и нет возможности написать для неё PR.


  1. Develar
    13.06.2019 14:25

    Документация в ветке docs. Я сам не буду улучшать документацию, скорее уж лучше поправить реализацию, так как текущий подход противоречит концепции 1-click :)


  1. Koneru
    13.06.2019 22:23

    Так же для корректной нотаризации нам потребуется определить права доступа
    к ресурсам системы для нашего приложения. build/entitlements.mac.plist

    arxanter, не подскажешь, пожалуйста, где можно взять полный перечень прав доступа к системе? Также не совсем понятно кудаТ.к. это единственное что выглядит индивидуальным для каждого приложения.


    1. arxanter Автор
      13.06.2019 23:07

      1. Koneru
        13.06.2019 23:19

        Спасибо, это то что нужно.


  1. pirate_tony
    15.06.2019 21:05

    отключить карантин:

    sudo defaults write com.apple.LaunchServices LSQuarantine -bool NO


    или стереть расширенные атрибуты самого app:
    xattr -c $yourapp


    атрибуты выставляет macOS при взаимодействии с файловой системой. Те программы которые используют функции чтение/запись могут согласовать атрибуты и для скачанного запускаемого файла выставить атрибут если что-то пошло не так. К слову скачанные файлы (любые) в macOS имеют различные атрибуты. Например ссылку откуда был скачан файл


    1. creker
      15.06.2019 21:42

      Да, вот это та самая гадость, которая тихо блокирует любые манипуляции с файлами, даже просмотр их содержимого в редакторе. Нередко происходит, когда скачиваешь на мак что-то с битой цифровой подписью. Файл тихо помечается атрибутом и запрещаются любые действия с ним, только перенос в корзину. Даже кнопка в настройках не появляется как обычно бывает, когда макось запрещает запуск приложения из интернета. Идут по пятам винды со встроенным UAC и антивирусом, но сделано все коряво.

      И в каталине в этих самых com.apple.LaunchServices собираются еще сильнее закрутить гайки, судя по докладу на WWDC