Беглый Гугл оконтурил минимальную цену: «год зарплаты не видать» (работникам, а директору — новой машины). Привычно заработала мысль: «а нельзя ли
Да даже 10Г в день — это хоть на флешке носи, но нужно полностью «самоработающее» решение, потому что знаем-знаем: забыл, отдал, запил… с концами.
Ввиду
В итоге
Сделали так — купили остатки партии медиаплееров на 1273-м реалтековском чипсете —
по пятьсот рублей штука. (Да, зависон товара — жёсткая вещь в мире хай-тека. Новые, в коробках, полная комплектация. Краток век иногда бывает у отличных, в общем-то вещей, хотя пора бы и привыкнуть.)
Установили несколько из них по домам-дачам. На каждую накатили mo-services, и торрент-качалку. Эта прошивка превращает медиаплеер в нормальную линукс-машинку, с консолью, телнетом, кроном и проч., и умеет отключать по ненадобности всю медиа-составляющую чипсета и даже GUI). Медиаплееры оказались даже двухдисковыми (второй SATA можно подрубить снаружи проводом), ну и пара USB (в который можно воткнуть, кстати, такой же медиаплеер — и так цепочкой их хоть все. Правда закольцевать, жаль не попробовали.)
Настроено и работает так: сервер занимается бэкапами — отдельный кейс как и что. результаты этих бэкапов он выкладывает в виде rar- и 7z- файлов в каталожек торрент-качалки и обновляет торрент-файл. Все эти домашние медиаплееры, во сколько-то, все одновременно просыпаются, обновляют торрент-файл и скачивают с сервера (и друг с друга) всё, что в том файле прописано. закачав и чуток постояв на раздаче на случай неожиданной разницы сезонных времён — засыпают. Таким образом свежий актуальный бэкап хранится сразу в нескольких экземплярах в десятке, физически удалённых друг от друга мест. Что важно — ко всем этим местам у фирмы есть полный физический доступ, пусть и не мгновенный.
Любого одного из них — достаточно, что бы фирма, при потере всех файлов и даже компьютеров — могла продолжить работу практически с точки останова.
Все они (когда не спят) доступны по http и телнету, на сервере виден лог пиров-сидеров по каждому файлу, в общем, можно это даже кое-как админить с дивана из дому).
Понятно, что медиаплееры — уязвимы, что вскрыв один – видны все остальные и не проблема дотянуться до них физически или по удалёнке, ибо навернуть безопасность домашнему пользователю не так-то просто — бытовой роутер и бытовой медиаплеер в руках не-IT-безопасника — не самые защищённые устройства. Но хоть какая-то децентрализация.
Так же это некая защита от криптолокеров, от которых, по слухам, обычные антивирусы не спасают, и это реально страшновато.
Очень важным моментом является то, что эти медиаплееры, в отличие от довольно массовых на тот момент двух/трёх-дисковых NAS спокойно переваривают NTFS, как сразу из коробки, так и после наката альтернативной прошивки — диск из неё при необходимости тупо втыкается в любую виндовую машинку и там на нём — нормальные понятные каталоги. Ещё важнее то, что они — не портят данные на вновь вставляемых дисках — эти «коробочки» подцепляют диски уже с данными без каких-либо переформатирований, переразбивок разделов или т.п. неожиданных чудес. В общем всех расходов в конце концов оказалось — по сути только винчестеры.
В общем, вот такой вот лайф-хак, если вдруг кому понравится — пользуйтесь, такой бэкап всяко лучше, чем никакого.
Господа из Акрониса, вы для нас — примерно как океанский сейнер для рыбака с удочкой — решения по цене и сложности (освоения) где-то из параллельной вселенной.
p.s.: Прошу прощения за вульгарное «комп» вместо «компьютер», но уж больно длинная форма длинна.
Комментарии (44)
Shaz
20.12.2016 16:10Только децентрализация с кучей реплик и оправдывает такое решение.
Хотя больше поразила история про дизайнера.Zzzuhell
20.12.2016 16:36Еще его оправдывает мизерное количество забэкапливаемого ежедневно контента.
Вопрос топистартеру — бэкапится все чохом или различия от предыдущего дня? Какова глубина архива, что будете делать, когда диски переполнятся?
4ebriking
20.12.2016 17:01Ежедневно бэкапятся файлы имеющие саттус «архивный» или дату последнего изменения меньше суток, еженедельно — по дате в эту неделю, проекты отдельно по событию «мастер-оригинал утверждён — в тираж», что случается несколько раз в месяц. Спорадически по большим праздникам каталог бэкапов проектов сливается вручную на отдельный винт и под крышку в кубышку. Туда же, но отдельно — дистрибутивы актуальных-рабочих-текущах версий софта и образ системы типового компа.
2ТБ диски пока ещё не переполнились ни разу, но в некоторых местах их уже заменили на новые, старые в пакет, сургучом-мёдом и на дно колодца для археологов, (в смысле я не заню куда их дели, но вряд ли выбросили или продали).
Админ как-то сказал, что похоже те коробки до 8Тб диски могут брать, что для нас эквивалентно слову «вечно». Хранить с быстрым доступом проекты древнее 5 лет нам бессмысленно, т.е. можно если понадобятся их и с отдельно винта из шкафа попробовать поднять.4ebriking
20.12.2016 17:09Неудачно выразился — «проект» может длиться и полгода, просто одновременно-параллеьно ведётся много проектов веьма разной сложности-стоимости, соотв неск раз в месяц случается _событие_, что какой-то из проектов утверждён (и тогда он экспортируется в отдельный каталог и бэкапится).
Karpion
20.12.2016 18:34Отличная статья. Правда, не хватает допиливания этих коробок лобзиком и надфилем — вот тогда был бы самый цимес. ;)
4ebriking
20.12.2016 18:42:) — Допилили некоторые — вентиляторы вместо каого--то совсем мелкого установили 50мм в торец. Кстати коробка ими неплохо рулит и шума от них нет вообще даже при работе. И выткунли во всех экран-индикатор на морде за ненадобностью, дабы не жрал ватты и не грелся ими зазря. Но это всё буквально «на автопилоте», чисто профессионально, раз в руки взял вещь — так доработай под себя.
GreyPhantom
20.12.2016 18:45Я так понял- у вас некий сервер «командует парадом»- т.е. создает файл-задание для «бекап-серверов»? Можете поподробнее рассказать алгоритм его работы?
4ebriking
20.12.2016 18:50В сети предприятия есть сервер — он много чем занят вообще-то, хозяйство сложное — среди прочего он делает бэкапапы, по своему плану и логике, которая продумана, согласована и описана документах за подписью и далее в скриптах. Далее торрент-качалка на нём же — раздаёт это уже по городам и весям. Точнее, они сами забирают.
GreyPhantom
20.12.2016 21:12Выходит- сервер делает бэкап на свой диск, а затем рассылает его «по городам и весям»? Т.е весь смысл только в «бекапах бекапов»?
rfvnhy
20.12.2016 18:51+1Для небольшой конторы и небольших объемов возможно такого варианта более чем достаточно.
Кому то хватит бэкапа в облаке, но лучше все же сделать еще один дубликат локально. И как вы правильно поступили территориально архивы надо разносить. От пожара/кражи/наводнения/…
Главное что бы вирус-криптовымогатель до бэкапа добраться не мог на «всю глубину архива»
Например NAS, который стоит у нас будет прекрасно зашифрован в полном объеме и никто до последнего не заметит… Т.е. в софте просто не предусмотрена защита от вирусов…
А ведь до первой пропажи документов за большой период («а кто-то стёр, непонятно кто») у нас лет 12-15 назад даже о правах доступа никто не задумывался…
Единственное, что я не вижу у вас — контроля целостности бэкапов.
Открываются ли архивы скачанные неделю назад? и тп
Ведь если произошел сбой в момент архивации, то будет разослан поврежденный архив…
PS Как известно админы делятся на 3 типа.
кто не делает бэкапы, кто делает бэкапы, кто проверяет работоспособность сделанных бэкапов…4ebriking
20.12.2016 18:59Не, ну совсем уж уж расписывать по-мелочи я не стал ибо это самоочевидно, уж тем более на Хабре — и проверяли работоспособность, и локально таких же коробок — в подсобке, и на чердаке, и на столе «для опытов» как-то стояла. А что за «сбой», которого не заметит бэкап-система при верификации я вообще не понимаю, так можно до обсуждения понятия «транзакции» дойти.
khim
20.12.2016 20:56Сбой не в бэкап-системе. Просто кто-то файл в проекте испортил — и через месяц ВСЕ бакапы содержат только «убитый» файл.
Против этого вещи типа git'а спасают, но против криптолокера (когда все файлы оказываются зашифрованы и в таком виде и заливаются в бекап) и он не спасёт.
Shaz
20.12.2016 19:00Максимум что тут выйдет — в сформированный торрент-файл попадут УЖЕ зашифрованные данные. А так как сами плееры работают под Linux + на сколько я понял доступа к ним по NFS\SMB таки нету — то для криптовымогателей эти бекапы не доступны.
4ebriking
20.12.2016 19:24ну да. кстати MD5-хэш некая защита от крипотвания файлов-архивов. Если внутрь попало зашифрованное — то да, вилы, но поскольку в архив кладутся файлы с которыми вот-вот недавно работали — то по идее при ловле криптера теряем максимум за последние день-два, и то вряд ли на всех раб.станциях сразу. (стучу по дереву и голове)
mickvav
20.12.2016 22:36Это так до тех пор, пока криптователи не научатся «дожидаться в сторонке» достаточно долго, месяц, к примеру, шифруя старые файлы, и быстро подменяя контент новых некоторое время в реальном времени.
khim
20.12.2016 22:58А будет ли это для них выгоднее? Я сильно сомневаюсь. Вся операция растягивается во времени, выгода падает.
Да, если все начнут делать бекапы хотя бы такие, как здесь описаны и будут смеяться над попытками криптователей стрясти деньги за то, что легко восстанавливается… тогда да.
Но вот вы — верите в то, что хотя бы половина пользователей будет делать хотя бы какие-нибудь бекапы в обозримом будущем? Я — не очень.azsx
21.12.2016 07:54Насчёт копирования зашифрованных данных. Можно создать файл «секретно.doc» в «моих документах» в который записать какой то фиксированный текст, например ИНН. Соответственно при создании нового архива проверять имеется ли ИНН в файле, или уже нет. Если нет — то не копировать, добиваться внимания админа.
Хотя по сути расчёт md5 всех файлов более точен, но в реальности может даже больше ошибочных срабатываний будет.
4ebriking
20.12.2016 19:36+6Кто-то с правами зачем-то поправил текст. Господа, я вас не просил этого делать, пожалуйста, верните как было, или мне поднимать иэ бэкапа?
Для написания текстов таких, как это нравится вам — у вас есть целый штат штатных редакторов, пожалуйста, не трогайте хотя бы статьи пользователей! Да, у меня свой стиль изложения, кому-то он может показаться корявым — хоть я и не Андрей Платонов — ничего, не все строем ходят и загорают на плацу, не надо всех под себя равнять, люди — разные, а Прокруст плохо кончил.
Acid_Jack
20.12.2016 21:46Не смотрели в сторону Syncthing?
Выполняет фактически то же самые функции, но в более «цивилизованном» виде.xsash
20.12.2016 22:24тоже хотел про него упомянуть, я так данные раскидал между 4-ымя серверами/машинками, которые физически в разных местах живут
ivlis
21.12.2016 01:20Синхронизация != backup. Пожрёт у вас вирус файлы на одной машине и syncthing благополучно это всё раскидает на все остальные.
Acid_Jack
21.12.2016 01:38https://docs.syncthing.net/users/foldermaster.html
TL;DR
на сервере каталог помечается как мастер-копия, то есть изменения с клиентов игнорируютсяivlis
21.12.2016 01:53Ну вот на сервере всё пожрал вирус и что дальше?
Acid_Jack
21.12.2016 01:54см. первый пост
tl;dr
сервер разольёт всем мусорivlis
21.12.2016 01:56Я как бы в курсе, сам пользуюсь syncthing. Только это не бекап, для бекапа надо что-то другое.
Acid_Jack
21.12.2016 02:02ну почему!?
автор генерит файлы и разливает их по клиентам через торрент
всё
всю статью можно уместить в одну строчку
но и развить идею тоже можно
лично я люблю двухстороннюю синхронизацию через unison4ebriking
21.12.2016 14:16Двусторонюю ни в коем случае нельзя! — тогда соседский мальчишка, вскрывший у друга-одноклассника домашний как они оба думали медиаплеер — накроет нам медным тазом всё, ради чего, собственно, это вот всё.
ivlis
21.12.2016 01:19Ожидал увидеть тут программу или скрипт какой-то, который это всё делает, а вместо этого какая-то простыня текста о ваших конкретных проблемах а-ля «разговор в курилке». А нормального* решения для домашнего или SOHO бекапа как не было, так и нет :(
*нормальный: opensource программа, открытый формат хранения данных, настройка бекапа в одну команду, восcтановление в одну команду из любой OS.4ebriking
21.12.2016 13:55Простыня текста «a-la курилка» была под спойлерами, админы ресурса её зачем-то вытащили наружу. (не иначе, что б текст «попростыннее» выглядел)
Скрипт очень-очень простой cmd-шник, десяток строк — типа запускаем винрар с длинннннющей строкой параметров, где перечислено ключами что откуда и по каким признаками (дата-время-размер-расширение) взять и куда сунуть и как это обозвать. Даже пароль архива в том же скрипте, что весьма несекъюрно, но повторюсь ни автор текста, ни кто-либо ещё на фирме — не IT-шники. Ну по суботам другой почти такой же скрипт с чуть другими параметрами запускается, а вручную — ещё пара почти таких же… кусок из чего-то похожего
set RAR=" -n*sld* -s -m5 -ag_YYYY_MM_DD-NN -ac -av- -p%time% -ep1 -dh -k -rr9p -ri1 -r -tl -idcdpq -ilogg:\exp\logs\backup-day.log -tn3d и т.п.
start «day-backup» /min «c:\Program Files\WinRar\WinRAR.exe» a — dayfile-Dn.rar и далее список.
Согласен, что это наколенная поделка и какой-то лютый эрзац и паллиатив, собсвенно об этом и поэтому и написал это всё — потому что беглый гугл мне далчетри года назад вот именно то, что вы сказали — нормального готового относительного дешёвого решения — нет.
Zzzuhell
21.12.2016 10:18купили остатки партии медиаплееров на 1273-м реалтековском чипсете — по пятьсот рублей штука. (Да, зависон товара — жёсткая вещь в мире хай-тека, цену нам дали просто что б по бухгалтериям было что провести
Провели бы по рублю :)
А если серьезно, то всегда завидки берут — где все ухитряются такие предложения находить?4ebriking
21.12.2016 14:03Думаю и сейчас если поискать — найдёте. Дайте вашему менеджеру по закупкам задание — он за полдня обзвонит пол-авито и выйдет на склад где их лежит контейнер. А уж если скажете ему, что разницу меж 500р. и реальной ценой он честно в карман положит — то найдёт вообще «самовывоз»…
bravosierrasierra
21.12.2016 14:04А как вы защищаете свои бэкапы от получения битых файлов с сервера? Плохой файл с сервера автоматически перетрёт свои резервные копии у всех пиров и вы очень быстро станете обладателями кучи бесполезных резервных копий, если не учтёте этот момент.
4ebriking
21.12.2016 14:06каждый день создаётся НОВЫЙ файл с бэкапом, старые на затираются. соотв накапливается в среднем менее 1Г новых архивов, что даёт треть терабайта в год на каждом медиаплеере, зачем же старое затирать при таких мелких цифрах.
sergeysakirkin
21.12.2016 14:07how to как в условиях отсутствия финансирования решить проблему.
+ правильное отношение к облакамShaz
21.12.2016 14:14Ну тут не совсем отсутсвие финансирования — дезигнеру вон 120к выдали наличкой, и спросили ток в конце года)
AMorgun
21.12.2016 14:07О, красиво. Я пришел сказать что при аналогичном решении у меня диск в перегреве, а вы охлаждение сделали. Ну чо сказать, супер! :)
navion
22.12.2016 02:34Странное решение при наличии бесплатной Bacula/Bareos и когда нужен обычный файловый бекап.
4ebriking
p.s.2: за отсуствие ответов на предыдущую статью — очень извиняюсь — я ту статью с лета пытался пробиться через модераторов кучей итераций, последний раз она лежала в состоянии «ожидает модерации, наберитесь терпения» порядка двух недель (кстати, не давая что-либо ещё написать даже в черновик «у вас уже есть неопубликованная статья»), я плюнул и забил. И только сейчас, решив выложить вот это под новым акк, обнаружил. Ща, пойду отвечать и туда и сюда коли тут будут вопросы.