Почтовый ящик с письмами — это личная собственность человека. Никто не имеет права доступа к архиву, кроме владельца.

Забота о своём почтовом архиве тем более актуальна в нынешних условиях, когда любой внешний сервис может закрыться, обанкротиться или просто откажется вас обслуживать. Гораздо спокойнее хранить архив у себя — сделать резервную копию в надёжном домашнем хранилище.

Выкачиваем архив


Если у вас есть доступ к почтовому сервису, то проще всего выкачать письма по протоколу IMAP (Internet Message Access Protocol). Это один из стандартных протоколов, которые используются для доступа к почтовым ящикам, наряду с POP3, SMTP и HTTP (доступ через браузер). Большинство почтовых сервисов поддерживают все три протокола.

IMAP удобен тем, что позволяет без усилий синхронизировать папки на нескольких почтовых серверах и на локальном компьютере, периодически делать резервные копии и легко переносить почтовый архив с одного сервера на другой.

imap-backup (резервные копии)


Для резервного копирования хорошо подходит программа imap-backup, которая создана именно для этой цели.

Примечание: в случае подключения к Gmail нужно добавить программу в список разрешённых приложений и создать для неё отдельный пароль для доступа к почте.



Это делается в меню «Пароли приложений» раздела «Вход в аккаунт Googlе» (аккаунт Google → вкладка «Безопасность»).



Этот пароль пригодится позже.

Затем настроить программу для работы:

$ imap-backup setup

Эта команда создаёт файл конфигурации ~/.imap-backup/config.json. По умолчанию указаны параметры почтового провайдера Gmail, но можно указать конкретный сервер для подключения и отредактировать другие данные:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders":
[
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
]
}
]
}

В настройках можно указать настройки соединения, которые будут использоваться вместо стандартных. Например, отключить аутентификацию TLS:

{
"accounts": [
{
"username": "my.user@gmail.com",
"password": "secret",
"server": "my.imap.example.com",
"local_path": "/path/to/backup/root",
"folders": [
{"name": "[Gmail]/All Mail"},
{"name": "my_folder"}
],
"connection_options": {
"ssl": {"verify_mode": 0},
"port": 993
}
}
]
}

Обратите внимание, пароль к почтовому ящику здесь хранится открытым текстом в файле конфигурации. То есть проблему безопасности придётся решать самостоятельно: или хранить его в зашифрованном хранилище, или удалить после использования.

На самом почтовом сервере разрешаем доступ по IMAP. Например, в настройках Gmail соответствующая опция находится на вкладке «Пересылка POP/IMAP».



После настройки сама процедура резервного копирования почтового ящика запускается командой из консоли:

$ imap-backup

Ну или можно прописать в скрипт, который стартует по расписанию и выполняет все действия, связанные с резервным копированием.

Каждая папка из почтового ящика сохраняется в отдельный файл .mbox. Возле каждого .mbox лежит файл .imap, в котором перечислены исходные IMAP UID для полного восстановления ящика.

Другие команды.

Показать список папок:

$ imap-backup folders

Показать статистику загружаемых писем для каждой папки:

$ imap-backup status

Предусмотрена также процедура восстановления архива писем из резервной копии на другом почтовом сервере (restore).

Имейте в виду, что в Gmail установлены лимиты на скачивание.



Ну и, конечно, не забываем про стандартный сервис Google Takeout, который позволяет скачать вообще все данные, которые собраны в вашем аккаунте Google. Для почты создаётся файл .mbox, который можно спокойно импортировать в почтовый клиент. Но это больше подходят для однократной миграции, а не периодических бэкапов по расписанию.

imapsync (миграция)


Похожую задачу выполняет консольная утилита imapsync (работает под Windows, Linux, Mac OS). Только она не копирует и не восстанавливает почтовый архив, а напрямую переносит все письма с одного почтового сервиса на другой, выполняя инкрементальный рекурсивный перенос архива.

«Инкрементальный» означает возможность остановки копирования в любой момент — и возобновления процедуры в будущем без создания дублей. «Рекурсивный» означает копирование всей иерархии папок, подпапок и т.д.

Хотя у программы отсутствует графический интерфейс, можно попробовать онлайновую версию Mailbox Imapsync Online. Там указываете параметры исходного и целевого сервисов — и весь архив копируется с одного сервера на другой, но не более 3 ГБ.



Несложно заметить отличие от вышеупомянутой программы imap-backup. Во-первых, здесь не выполняется копирование на локальный диск ПК. Во-вторых, перенос архива с одного почтового сервера на другой происходит в одностороннем порядке, без полноценной синхронизации. Для двунаправленной синхронизации лучше использовать OfflineIMAP или mbsync (mbsync).

Обратите внимание, что ни одна из вышеперечисленных утилит не может скачать/синхронизировать контакты или календари по протоколу IMAP. Это можно сделать с помощью других инструментов типа Outlook CalDav Synchronizer или через экспорт / импорт файлов CSV или ICS.

Другие утилиты


На сегодняшний день существует около 50 инструментов для синхронизации по IMAP, резервного копирования почтового архива и / или переноса почтового ящика с одного домена на другой. Среди них нативные программы и внешние онлайн-сервисы, в том числе бесплатные, которые работают на базе imapsync.

Но основные инструменты перечислены ниже:

  1. imap-backup
  2. imapsync
  3. OfflineIMAP
  4. mbsync

Не резервная, а рабочая копия


Выкачать почтовый архив — это замечательно. Теперь у нас есть резервная копия, которая никуда не пропадёт.

Но в идеале хотелось бы иметь возможность постоянно работать с этой информацией. То есть локально, в офлайне читать письма, сортировать их, находить важную информацию в архиве и так далее.

Для этого предназначены нативные почтовые клиенты. Они отлично работали ещё до изобретения WWW и появления первого веб-сайта. Но история развивается по спирали — и сейчас нативные клиенты снова актуальны.

Специализированные программы заточены на одну-единственную задачу. И выполняют её идеально. Нативный клиент позволяет ответить на письмо за несколько секунд, не притрагиваясь к мышке.

Хотя и у веб-клиентов есть очевидные преимущества. Неспроста многие люди перешли на них.

Преимущества веб-почты


  1. Доступ с любого устройства. В далёкие времена люди выходили в интернет из интернет-кафе или от знакомых, у которых был интернет. С любого компьютера можно было проверить свой ящик и написать письмо. Хотя такая функциональность закладывалась в IMAP изначально, на практике это привело к централизации и «портализации» интернета.
  2. Портал. Веб-почта получила популярность как удобный сервис «всё в одном». Люди заходили на единый портал, где было всё нужное и ненужное — почтовый ящик, каталог сайтов, поиск в интернете, новости, игры и так далее. Некоторые из этих «почтовых порталов» дожили до наших дней, хотя выглядят как архаизм. Когда вы нагромождаете кучу новых сервисов вокруг одного действительно полезного — почты, это напоминает навязывание ненужных услуг ради выжимания максимальной прибыли.
  3. Поиск. Ещё одно важное преимущество — быстрый полнотекстовый поиск. По крайней мере, это касается Gmail. Собственно, её материнская компания и специализируется на поиске, так что ничего удивительного.
  4. Антиспам. Ещё одно преимущество — более эффективная фильтрация спама через «облачную систему AI», но это скорее маркетинговое заявление, которое сложно проверить на практике. Да, «облачный AI» действительно эффективно фильтрует спам. Но и другие современные спам-фильтры без всяких «наворотов» тоже действуют очень эффективно. Например, бесплатная опенсорсная программа Rspamd.
  5. Облачный хостинг. Сохранность писем вам гарантирует большая корпорация, которая специализируется на хостинге. Теоретически, у неё должно быть безопаснее, чем хранить архив у себя на компьютере. Но сейчас уже не так. В последнее время ситуация изменилась и стоит учитывать, что зарубежная компания может легко покинуть российский рынок, оставив ваши данные в пустоте. Теперь настоятельно рекомендуется сделать резервную копию всей информации, которая хранилась на внешних зарубежных сервисах.

Преимущества нативных клиентов


Преимущества нативных клиентов можно перечислять долго. Главное — это бесконечные возможности настройки под индивидуальный вкус и привычки, включая интерфейс, шрифты, меню, информационные тикеры, шаблоны, автоответы, сортировку писем по папочкам и многое другое.

В качестве примера можно привести один из самых известных в 90-е годы почтовых клиентов под Windows — The Bat! от молдавской компании Ritlabs.



The Bat!


Этот почтовый клиент поддерживается до сих пор. Даже выходят новые версии. Буквально в феврале 2022 года началось бета-тестирование новой версии The Bat! v10.

Вот некоторые продвинутые возможности The Bat!, чтобы понимать смысл использования нативных клиентов:

  • Шифрование PGP, GnuPG и S/MIME.
  • Сортировка. Поддерживаются произвольные правила сортировки и любое количество папок. Автоматическая обработка сообщений: автоответ, запуск внешнего приложения, добавить адресатов в адресную книгу, экспортировать/архивировать, извлечь аттачи и др.
  • Шаблоны.
  • Безопасная работа с аттачами. В офлайне на изолированном компьютере можно спокойно разбирать полученные файлы.
  • Выборочное скачивание. Многие письма фильтруются на сервере и удаляются перед скачиванием, чтобы не генерировать лишний трафик. Это было особенно актуально во времена диалапа.
  • Встроенная поддержка RSS.

Естественно, имеется автономная адресная книга, встроенный просмотр HTML (на движке Chromium) и другие атрибуты современного почтового клиента.



Другие почтовые клиенты


За историю интернета мы видели рождение и закат очень многих почтовых клиентов. Некоторые из них поддерживаются до сих пор. Вот самые известные:

… и многие другие.

В большинстве случаев можно настроить клиент на получение / отправку писем через разные почтовые сервисы. Кроме того, обычно поддерживается импорт / экспорт почтового архива из одного клиента в другой.

Почтовый архив — личная собственность человека


Новые стартапы в интернете рождаются каждый день. Интернет похож на бурлящий котёл инноваций. Глобальный конструктор, где каждый может собрать что-то новенькое и интересное из существующих модулей.

В то же время есть фундаментальные технологии, которые лежат в основе и обеспечивают работу всего этого огромного конструктора. Эдакие бессмертные титаны, удерживающие на своих плечах технологический стек. В интернете это протоколы TCP/IP и электронная почта.

Хотя сегодня люди часами сидят в телеграме и дискорде, но самые важные коммуникации всё равно идут по почте. Мессенджеры приходят и уходят, а электронная почта будет всегда.

Важно понимать, что почтовый ящик и все письма — собственность человека, а не постороннего сервиса. Это самая ценная информация, которую следует бережно хранить наравне с кошельками, паролями, секретными файлами и личными фотографиями.


НЛО прилетело и оставило здесь промокод для читателей нашего блога:

15% на все тарифы VDS (кроме тарифа Прогрев) — HABRFIRSTVDS.

Комментарии (19)


  1. kotov666
    20.04.2022 11:10
    +1

    Интересно, а в Gmail можно как то разом скачать именно все вложения в электронных письмах?


    1. isden
      20.04.2022 12:13
      +6

      Вот тут можно забрать все сразу:


      https://takeout.google.com/


  1. mrtippler
    20.04.2022 11:39
    +4

     Это один из трёх стандартных протоколов доступа к почтовым ящикам, наряду с POP3 и HTTP (через браузер).

    Позвольте придраться. Строго говоря, HTTP не является протоколом доступа к почтовым ящикам. И вообще не имеет прямого отношения к электронной почте. Это всем известно.


    1. 1shaman Автор
      20.04.2022 12:59
      +1

      Да, конечно, вы правы, я имел в виду не именно стандарт протокола доступа, а способы доступа, поправил формулировку. Спасибо, что обратили внимание.


  1. d7s2di
    20.04.2022 11:47

    Давно использую связку offlineimap+msmtp+mutt. Веб-интерфейсы с каждым годом все страшнее и страшнее.


    1. neenik
      21.04.2022 00:11

      Почему offlineimap, а не getmail/fetchmail? Сейчас для себя выбираю обвязку для примерно похожего. Хотелось бы услышать мнение от более опытного в этом направлении.


  1. AndreyYu
    20.04.2022 12:07

    А как работать с архивом mbox, который выдает gmail? Что-то не получилось никак его красиво импортировать в TheBat, например.


    1. 1shaman Автор
      20.04.2022 12:59

      Странно, всё должно нормально импортироваться.


      1. AndreyYu
        20.04.2022 13:21
        +1

        Если у вас данный финт ушами получился, не могли бы вы поделить работающей инструкцией?


    1. vilox
      20.04.2022 13:27
      +6

      В Thunderbird можно отметить папки imap для “Offline use”, и TB их полностью скачает. Вы работаете со своей почтой как обычно, но при этом она вся целиком присутствует на локальном диске, без дополнительных телодвижений.


      1. AndreyYu
        20.04.2022 13:52

        О, большое Вам спасибо!


      1. hrusha
        21.04.2022 13:59

        Да.

        Вообще написанно как то сложно.

        Надо же только подключить по imap ящик к outlook/bat/TB и сохранить скачанную клиентом переписку.

        А ещё можно к этому же клиенту подключить, например, ящик на православных yandeх/mailru и простым копированием перенести все письма в них


        1. mrtippler
          21.04.2022 14:59

          Если речь идет об одном ящике, ну или о двух-трех, то, конечно же нет смысла заморачиваться с какими то утилитами. Прям в клиенте мышкой перетянул, да и все..
          Но когда нужно смигрить 200-300 ящиков, это уже проблематично.

          Когда у меня возникла такая задача - перенос ящиков нескольких сотен пользователей с mail.ru на свой локальный сервер, я использовал imapsync. Иначе никак.


  1. event1
    20.04.2022 15:59

    Оригинальный OfflineIMAP форкнулся для поддержки python3 и не обновляется с августа 21-го года. Я лично переехал на mbsync. Клиент mu4e. Скорость консольных почтовых клиентов — просто отрыв башки.


  1. Javian
    20.04.2022 20:30

    Вот если бы сделать бэкап и по пути удалить всякие рассылки и уведомления. Есть такое с фильтрами?


  1. astenix
    20.04.2022 21:12
    +4

    TheBat был когда-то шагом в космос — можно было получить только заголовки и отметить те письма, которые надо скачать (остальное было мусором).

    Потом пришёл Gmail в браузере, а тхебат с гмайлом в те времена не мог. Ну и всё.

    Сегодня Thunderbird рулит, хотя и не так сильно, как когда-то, бо после переезда Mozilla на новый движок большинство расширений почтовика умерло. Но в принципе старикан норм, прям удовольствие.

    Но тхебат был лучше!


    1. dartraiden
      20.04.2022 23:42

      Но в принципе старикан норм

      В следующей версии в него даже интегрируют поддержку Matrix.


    1. tark-tech
      22.04.2022 17:11

      TheBat был когда-то шагом в космос — можно было получить только заголовки и отметить те письма, которые надо скачать (остальное было мусором).

      Ну, это-то вообще стандартная функция не клиента а протокола IMAP. Вполне возможно что гугель, кстати, сознательно втихую ломает совместимость с открытыми протоколами, чтобы привязать к себе, сейчас вот там с oauth для сторонних приложений чего-то мутят.

      А вот что у бата действительно прекрасно - это система работы с фильтрами. Всю красоту, прозрачность и удобство которой оценил только поработав с /censored/ аутлуком .