Хочу поделиться с сообществом забавным опытом организации бэкапа на примерно вот таких штуках
image
Че... Три года назад небольшая производственная фирма — сто человек, полста компов, треть из которых — это разного рода ЧПУ-оборудование (плоттеры, куттеры, big-принтеры, фрезеры, лазеры), выживающая на рынке, где все всех знают, озаботилась сохранностью данных «от сглаза».

Беглый Гугл оконтурил минимальную цену: «год зарплаты не видать» (работникам, а директору — новой машины). Привычно заработала мысль: «а нельзя ли словчить схитрить выкрутиться выкроить без попадалова?» Оценили размер данных — сотня мег в день, редко когда гиг накапливается. Готовый проект идущий в тираж — где-то десять Гб всяких файлов, неск. раз в месяц — там всё: и чертежи в САD-ах и pdf, и непосредственно программы для станков в g-кодах, и разные технологические карты, спецификации с конкретными артикулами поставщиков, диаграммы Ганта, критпути, переписка с согласованием, фото контрольного экземпляра… вплоть до «собирать вначале левую, ибо наоборот будет несподручно (мелкий винтик левой рукой ловить)» (всё, что относится к каждому конкретному проекту у нас в одном месте собирается)…

Да даже 10Г в день — это хоть на флешке носи, но нужно полностью «самоработающее» решение, потому что знаем-знаем: забыл, отдал, запил… с концами.

Люди делятся на тех, кто гребёт и тех, у кого заряжен револьвер. Есть две ипостаси сохранности данных: от их неправедных — погибели и размножения.
Ввиду
особенностей рынка,
где все всех знают — база контактов и цен включая стоимости контрактов — по сути открыты (тендеры и т.п.) т.е. «убегание данных» вместе с менеджером — не опасно
и
самой фирмы,
(не то что бы совсем уж семейный бизнес, но что-то вроде — люди работают вместе уже по 10-15 лет, почти все поприводили своих детей работать — соотв. все боль-менее понимают, что всякая крупная закупка — она из фонда зарплаты деньги берёт, ибо больше неоткуда. Нет-нет, никак не демократия, но и потребительского отношения к «бюджету» типа «дайте мне хороший комп и зарплату и тогда я выдам результат» — нет и в помине)
(Давно было)
Дизайнер гнул пальцы – мол, комп тормозит… попросили его выдать спецификацию того, что ему, как он считает, для работы в самый раз. Он выдал, попутно зло поругавшись с админом. Не проблема — ты специалист, тебе решать, вот тебе 120т.р. налом, купи себе комп, какой считаешь нужным. Осенью. Под НГ провели аудит железа и, конечно же, — комп в реале оказался не на 120тыр, а и до 50 недотягивал. Предъявили, попросили разницу вернуть в кассу. Вернул. Работает, ибо дизайнер он, в общем, отличный, тендеры выигрывает и пальцев больше не гнёт — настройки v-ray-я изучил и не жужжит, ибо не только в попугаях в крутизне компа дело.)
… уяснили себе, что нас волнует первая ипостась — порча, утрата данных из-за криптолокеров или физических повреждений/кражи/изъятия компов, в т.ч. силовиками разной степени легальности. Важная особенность: на фирме нет IT-шников. Только «админ приходящий» на полставки – и он не ах, как специалист, но зато честный и доверенный-проверенный (поэтому Шеф категорически не хочет даже обсуждать его замену, хотя втыки ему делает за косяки регулярно). Полсотни суровых технарей с автокадом-солидом и прекрасными инженерными скиллами — понятное дело в плане ИБ как дети малые, увы, даже у нас пересылка файла почтой через Америку или флешкой в кармане из комнаты в комнату, при наличии сети, не часто, но случается. Поэтому были отвергнуты и всяческие «облака» – там даже просто разобраться, если что вдруг не так – чёрт ногу сломит, пришлют ссыль на обновлённую ЕULA и гуд бай.

В итоге


Сделали так — купили остатки партии медиаплееров на 1273-м реалтековском чипсете —
по пятьсот рублей штука. (Да, зависон товара — жёсткая вещь в мире хай-тека. Новые, в коробках, полная комплектация. Краток век иногда бывает у отличных, в общем-то вещей, хотя пора бы и привыкнуть.)

Установили несколько из них по домам-дачам. На каждую накатили mo-services, и торрент-качалку. Эта прошивка превращает медиаплеер в нормальную линукс-машинку, с консолью, телнетом, кроном и проч., и умеет отключать по ненадобности всю медиа-составляющую чипсета и даже GUI). Медиаплееры оказались даже двухдисковыми (второй SATA можно подрубить снаружи проводом), ну и пара USB (в который можно воткнуть, кстати, такой же медиаплеер — и так цепочкой их хоть все. Правда закольцевать, жаль не попробовали.)

Настроено и работает так: сервер занимается бэкапами — отдельный кейс как и что. результаты этих бэкапов он выкладывает в виде rar- и 7z- файлов в каталожек торрент-качалки и обновляет торрент-файл. Все эти домашние медиаплееры, во сколько-то, все одновременно просыпаются, обновляют торрент-файл и скачивают с сервера (и друг с друга) всё, что в том файле прописано. закачав и чуток постояв на раздаче на случай неожиданной разницы сезонных времён — засыпают. Таким образом свежий актуальный бэкап хранится сразу в нескольких экземплярах в десятке, физически удалённых друг от друга мест. Что важно — ко всем этим местам у фирмы есть полный физический доступ, пусть и не мгновенный.

Любого одного из них — достаточно, что бы фирма, при потере всех файлов и даже компьютеров — могла продолжить работу практически с точки останова.

Все они (когда не спят) доступны по http и телнету, на сервере виден лог пиров-сидеров по каждому файлу, в общем, можно это даже кое-как админить с дивана из дому).

Понятно, что медиаплееры — уязвимы, что вскрыв один – видны все остальные и не проблема дотянуться до них физически или по удалёнке, ибо навернуть безопасность домашнему пользователю не так-то просто — бытовой роутер и бытовой медиаплеер в руках не-IT-безопасника — не самые защищённые устройства. Но хоть какая-то децентрализация.

Так же это некая защита от криптолокеров, от которых, по слухам, обычные антивирусы не спасают, и это реально страшновато.

Очень важным моментом является то, что эти медиаплееры, в отличие от довольно массовых на тот момент двух/трёх-дисковых NAS спокойно переваривают NTFS, как сразу из коробки, так и после наката альтернативной прошивки — диск из неё при необходимости тупо втыкается в любую виндовую машинку и там на нём — нормальные понятные каталоги. Ещё важнее то, что они — не портят данные на вновь вставляемых дисках — эти «коробочки» подцепляют диски уже с данными без каких-либо переформатирований, переразбивок разделов или т.п. неожиданных чудес. В общем всех расходов в конце концов оказалось — по сути только винчестеры.

В общем, вот такой вот лайф-хак, если вдруг кому понравится — пользуйтесь, такой бэкап всяко лучше, чем никакого.

Господа из Акрониса, вы для нас — примерно как океанский сейнер для рыбака с удочкой — решения по цене и сложности (освоения) где-то из параллельной вселенной.


p.s.: Прошу прощения за вульгарное «комп» вместо «компьютер», но уж больно длинная форма длинна.
Поделиться с друзьями
-->

Комментарии (44)


  1. 4ebriking
    20.12.2016 15:58
    +1



    p.s.2: за отсуствие ответов на предыдущую статью — очень извиняюсь — я ту статью с лета пытался пробиться через модераторов кучей итераций, последний раз она лежала в состоянии «ожидает модерации, наберитесь терпения» порядка двух недель (кстати, не давая что-либо ещё написать даже в черновик «у вас уже есть неопубликованная статья»), я плюнул и забил. И только сейчас, решив выложить вот это под новым акк, обнаружил. Ща, пойду отвечать и туда и сюда коли тут будут вопросы.


  1. Shaz
    20.12.2016 16:10

    Только децентрализация с кучей реплик и оправдывает такое решение.
    Хотя больше поразила история про дизайнера.


    1. Zzzuhell
      20.12.2016 16:36

      Еще его оправдывает мизерное количество забэкапливаемого ежедневно контента.

      Вопрос топистартеру — бэкапится все чохом или различия от предыдущего дня? Какова глубина архива, что будете делать, когда диски переполнятся?


      1. 4ebriking
        20.12.2016 17:01

        Ежедневно бэкапятся файлы имеющие саттус «архивный» или дату последнего изменения меньше суток, еженедельно — по дате в эту неделю, проекты отдельно по событию «мастер-оригинал утверждён — в тираж», что случается несколько раз в месяц. Спорадически по большим праздникам каталог бэкапов проектов сливается вручную на отдельный винт и под крышку в кубышку. Туда же, но отдельно — дистрибутивы актуальных-рабочих-текущах версий софта и образ системы типового компа.

        2ТБ диски пока ещё не переполнились ни разу, но в некоторых местах их уже заменили на новые, старые в пакет, сургучом-мёдом и на дно колодца для археологов, (в смысле я не заню куда их дели, но вряд ли выбросили или продали).

        Админ как-то сказал, что похоже те коробки до 8Тб диски могут брать, что для нас эквивалентно слову «вечно». Хранить с быстрым доступом проекты древнее 5 лет нам бессмысленно, т.е. можно если понадобятся их и с отдельно винта из шкафа попробовать поднять.


        1. 4ebriking
          20.12.2016 17:09

          Неудачно выразился — «проект» может длиться и полгода, просто одновременно-параллеьно ведётся много проектов веьма разной сложности-стоимости, соотв неск раз в месяц случается _событие_, что какой-то из проектов утверждён (и тогда он экспортируется в отдельный каталог и бэкапится).


  1. Karpion
    20.12.2016 18:34

    Отличная статья. Правда, не хватает допиливания этих коробок лобзиком и надфилем — вот тогда был бы самый цимес. ;)


    1. 4ebriking
      20.12.2016 18:42

      :) — Допилили некоторые — вентиляторы вместо каого--то совсем мелкого установили 50мм в торец. Кстати коробка ими неплохо рулит и шума от них нет вообще даже при работе. И выткунли во всех экран-индикатор на морде за ненадобностью, дабы не жрал ватты и не грелся ими зазря. Но это всё буквально «на автопилоте», чисто профессионально, раз в руки взял вещь — так доработай под себя.


    1. 4ebriking
      20.12.2016 19:13
      +1

      ловите: :)


  1. GreyPhantom
    20.12.2016 18:45

    Я так понял- у вас некий сервер «командует парадом»- т.е. создает файл-задание для «бекап-серверов»? Можете поподробнее рассказать алгоритм его работы?


    1. 4ebriking
      20.12.2016 18:50

      В сети предприятия есть сервер — он много чем занят вообще-то, хозяйство сложное — среди прочего он делает бэкапапы, по своему плану и логике, которая продумана, согласована и описана документах за подписью и далее в скриптах. Далее торрент-качалка на нём же — раздаёт это уже по городам и весям. Точнее, они сами забирают.


      1. GreyPhantom
        20.12.2016 21:12

        Выходит- сервер делает бэкап на свой диск, а затем рассылает его «по городам и весям»? Т.е весь смысл только в «бекапах бекапов»?


        1. fenixlz
          21.12.2016 07:46
          +3

          Бекап сохраненный на машине, с которой и снят этот бекап — это не бекап.


  1. rfvnhy
    20.12.2016 18:51
    +1

    Для небольшой конторы и небольших объемов возможно такого варианта более чем достаточно.

    Кому то хватит бэкапа в облаке, но лучше все же сделать еще один дубликат локально. И как вы правильно поступили территориально архивы надо разносить. От пожара/кражи/наводнения/…
    Главное что бы вирус-криптовымогатель до бэкапа добраться не мог на «всю глубину архива»

    Например NAS, который стоит у нас будет прекрасно зашифрован в полном объеме и никто до последнего не заметит… Т.е. в софте просто не предусмотрена защита от вирусов…
    А ведь до первой пропажи документов за большой период («а кто-то стёр, непонятно кто») у нас лет 12-15 назад даже о правах доступа никто не задумывался…

    Единственное, что я не вижу у вас — контроля целостности бэкапов.
    Открываются ли архивы скачанные неделю назад? и тп
    Ведь если произошел сбой в момент архивации, то будет разослан поврежденный архив…

    PS Как известно админы делятся на 3 типа.
    кто не делает бэкапы, кто делает бэкапы, кто проверяет работоспособность сделанных бэкапов…


    1. 4ebriking
      20.12.2016 18:59

      Не, ну совсем уж уж расписывать по-мелочи я не стал ибо это самоочевидно, уж тем более на Хабре — и проверяли работоспособность, и локально таких же коробок — в подсобке, и на чердаке, и на столе «для опытов» как-то стояла. А что за «сбой», которого не заметит бэкап-система при верификации я вообще не понимаю, так можно до обсуждения понятия «транзакции» дойти.


      1. khim
        20.12.2016 20:56

        Сбой не в бэкап-системе. Просто кто-то файл в проекте испортил — и через месяц ВСЕ бакапы содержат только «убитый» файл.

        Против этого вещи типа git'а спасают, но против криптолокера (когда все файлы оказываются зашифрованы и в таком виде и заливаются в бекап) и он не спасёт.


    1. Shaz
      20.12.2016 19:00

      Максимум что тут выйдет — в сформированный торрент-файл попадут УЖЕ зашифрованные данные. А так как сами плееры работают под Linux + на сколько я понял доступа к ним по NFS\SMB таки нету — то для криптовымогателей эти бекапы не доступны.


      1. 4ebriking
        20.12.2016 19:24

        ну да. кстати MD5-хэш некая защита от крипотвания файлов-архивов. Если внутрь попало зашифрованное — то да, вилы, но поскольку в архив кладутся файлы с которыми вот-вот недавно работали — то по идее при ловле криптера теряем максимум за последние день-два, и то вряд ли на всех раб.станциях сразу. (стучу по дереву и голове)


        1. mickvav
          20.12.2016 22:36

          Это так до тех пор, пока криптователи не научатся «дожидаться в сторонке» достаточно долго, месяц, к примеру, шифруя старые файлы, и быстро подменяя контент новых некоторое время в реальном времени.


          1. khim
            20.12.2016 22:58

            А будет ли это для них выгоднее? Я сильно сомневаюсь. Вся операция растягивается во времени, выгода падает.

            Да, если все начнут делать бекапы хотя бы такие, как здесь описаны и будут смеяться над попытками криптователей стрясти деньги за то, что легко восстанавливается… тогда да.

            Но вот вы — верите в то, что хотя бы половина пользователей будет делать хотя бы какие-нибудь бекапы в обозримом будущем? Я — не очень.


            1. azsx
              21.12.2016 07:54

              Насчёт копирования зашифрованных данных. Можно создать файл «секретно.doc» в «моих документах» в который записать какой то фиксированный текст, например ИНН. Соответственно при создании нового архива проверять имеется ли ИНН в файле, или уже нет. Если нет — то не копировать, добиваться внимания админа.
              Хотя по сути расчёт md5 всех файлов более точен, но в реальности может даже больше ошибочных срабатываний будет.


          1. Shaz
            21.12.2016 10:22

            При таком сценарии они будут попадать в базы антивирусов через неделю-полторы.


  1. 4ebriking
    20.12.2016 19:36
    +6

    Кто-то с правами зачем-то поправил текст. Господа, я вас не просил этого делать, пожалуйста, верните как было, или мне поднимать иэ бэкапа?
    Для написания текстов таких, как это нравится вам — у вас есть целый штат штатных редакторов, пожалуйста, не трогайте хотя бы статьи пользователей! Да, у меня свой стиль изложения, кому-то он может показаться корявым — хоть я и не Андрей Платонов — ничего, не все строем ходят и загорают на плацу, не надо всех под себя равнять, люди — разные, а Прокруст плохо кончил.


  1. rbobot
    20.12.2016 21:03

    Интересна модель девайсов. Не видел медиаплееров с двумя дисками %(


  1. Acid_Jack
    20.12.2016 21:46

    Не смотрели в сторону Syncthing?
    Выполняет фактически то же самые функции, но в более «цивилизованном» виде.


    1. xsash
      20.12.2016 22:24

      тоже хотел про него упомянуть, я так данные раскидал между 4-ымя серверами/машинками, которые физически в разных местах живут


    1. ivlis
      21.12.2016 01:20

      Синхронизация != backup. Пожрёт у вас вирус файлы на одной машине и syncthing благополучно это всё раскидает на все остальные.


      1. Acid_Jack
        21.12.2016 01:38

        https://docs.syncthing.net/users/foldermaster.html

        TL;DR
        на сервере каталог помечается как мастер-копия, то есть изменения с клиентов игнорируются


        1. ivlis
          21.12.2016 01:53

          Ну вот на сервере всё пожрал вирус и что дальше?


          1. Acid_Jack
            21.12.2016 01:54

            см. первый пост

            tl;dr
            сервер разольёт всем мусор


            1. ivlis
              21.12.2016 01:56

              Я как бы в курсе, сам пользуюсь syncthing. Только это не бекап, для бекапа надо что-то другое.


              1. Acid_Jack
                21.12.2016 02:02

                ну почему!?

                автор генерит файлы и разливает их по клиентам через торрент
                всё

                всю статью можно уместить в одну строчку
                но и развить идею тоже можно

                лично я люблю двухстороннюю синхронизацию через unison


                1. 4ebriking
                  21.12.2016 14:16

                  Двусторонюю ни в коем случае нельзя! — тогда соседский мальчишка, вскрывший у друга-одноклассника домашний как они оба думали медиаплеер — накроет нам медным тазом всё, ради чего, собственно, это вот всё.


                  1. Acid_Jack
                    21.12.2016 14:19

                    unison я для своего личного примера указал
                    у каждого свои предпочения


  1. ivlis
    21.12.2016 01:19

    Ожидал увидеть тут программу или скрипт какой-то, который это всё делает, а вместо этого какая-то простыня текста о ваших конкретных проблемах а-ля «разговор в курилке». А нормального* решения для домашнего или SOHO бекапа как не было, так и нет :(

    *нормальный: opensource программа, открытый формат хранения данных, настройка бекапа в одну команду, восcтановление в одну команду из любой OS.


    1. 4ebriking
      21.12.2016 13:55

      Простыня текста «a-la курилка» была под спойлерами, админы ресурса её зачем-то вытащили наружу. (не иначе, что б текст «попростыннее» выглядел)
      Скрипт очень-очень простой cmd-шник, десяток строк — типа запускаем винрар с длинннннющей строкой параметров, где перечислено ключами что откуда и по каким признаками (дата-время-размер-расширение) взять и куда сунуть и как это обозвать. Даже пароль архива в том же скрипте, что весьма несекъюрно, но повторюсь ни автор текста, ни кто-либо ещё на фирме — не IT-шники. Ну по суботам другой почти такой же скрипт с чуть другими параметрами запускается, а вручную — ещё пара почти таких же… кусок из чего-то похожего
      set RAR=" -n*sld* -s -m5 -ag_YYYY_MM_DD-NN -ac -av- -p%time% -ep1 -dh -k -rr9p -ri1 -r -tl -idcdpq -ilogg:\exp\logs\backup-day.log -tn3d и т.п.
      start «day-backup» /min «c:\Program Files\WinRar\WinRAR.exe» a — dayfile-Dn.rar и далее список.

      Согласен, что это наколенная поделка и какой-то лютый эрзац и паллиатив, собсвенно об этом и поэтому и написал это всё — потому что беглый гугл мне дал четри года назад вот именно то, что вы сказали — нормального готового относительного дешёвого решения — нет.


  1. Zzzuhell
    21.12.2016 10:18

    купили остатки партии медиаплееров на 1273-м реалтековском чипсете — по пятьсот рублей штука. (Да, зависон товара — жёсткая вещь в мире хай-тека, цену нам дали просто что б по бухгалтериям было что провести

    Провели бы по рублю :)
    А если серьезно, то всегда завидки берут — где все ухитряются такие предложения находить?


    1. 4ebriking
      21.12.2016 14:03

      Думаю и сейчас если поискать — найдёте. Дайте вашему менеджеру по закупкам задание — он за полдня обзвонит пол-авито и выйдет на склад где их лежит контейнер. А уж если скажете ему, что разницу меж 500р. и реальной ценой он честно в карман положит — то найдёт вообще «самовывоз»…


  1. bravosierrasierra
    21.12.2016 14:04

    А как вы защищаете свои бэкапы от получения битых файлов с сервера? Плохой файл с сервера автоматически перетрёт свои резервные копии у всех пиров и вы очень быстро станете обладателями кучи бесполезных резервных копий, если не учтёте этот момент.


    1. 4ebriking
      21.12.2016 14:06

      каждый день создаётся НОВЫЙ файл с бэкапом, старые на затираются. соотв накапливается в среднем менее 1Г новых архивов, что даёт треть терабайта в год на каждом медиаплеере, зачем же старое затирать при таких мелких цифрах.


  1. sergeysakirkin
    21.12.2016 14:07

    how to как в условиях отсутствия финансирования решить проблему.
    + правильное отношение к облакам


    1. Shaz
      21.12.2016 14:14

      Ну тут не совсем отсутсвие финансирования — дезигнеру вон 120к выдали наличкой, и спросили ток в конце года)


  1. AMorgun
    21.12.2016 14:07

    О, красиво. Я пришел сказать что при аналогичном решении у меня диск в перегреве, а вы охлаждение сделали. Ну чо сказать, супер! :)


  1. navion
    22.12.2016 02:34

    Странное решение при наличии бесплатной Bacula/Bareos и когда нужен обычный файловый бекап.


  1. sol77
    22.12.2016 12:40

    проще и дешевле 2 freenas и реплика между ними, имхо