В этом посте я расскажу о нашем первом опыте полного переноса офиса в дата-центр в 2017 году.

Основная задача: обеспечить доступ всех сотрудников в единую систему.

Вводные данные:

  1. Небольшая, по количеству сотрудников, компания, разнесенная географически: центральный офис, производство и 2 склада;

  2. Сотрудников около 20 человек;

  3. На всех объектах есть стационарные компьютеры или ноутбуки и принтеры, сканеры, либо МФУ.

Проблемы:

  1. Большая нагрузка на центральный офис по работе с документооборотом;

  2. Ошибки в отгрузках на удаленных площадках, т.к. в корпоративное ПО нет доступа и учет фактически производится в excel, либо необходимо заказывать отгрузочные документы в офисе, что тормозит процесс отгрузки.

После таких вводных начался дополнительный аудит и проработка концепции. По итогам аудита выяснилось, что сотрудникам необходим доступ в систему 1С Комплексная автоматизация и общим папкам обмена.

Идея просто предоставить всем доступ к серверу в офис разбилась сразу по причине узких и не очень стабильных каналах связи на объектах. 1С грузилась бы часами, а с файлами можно было работать только скачав их к себе.

Дополнительные ограничения, которые возникли:

  1. Складские помещения находятся далеко от цивилизации и интернет возможен только 4г или спутник – большие данные особо не передашь;

  2. Расширение офисного канала связи стоит дорого.

Поэтому мы предложили Заказчику вынести весь офис в дата-центр и организовать доступ ко всем корпоративным сервисам через удаленный рабочий стол. Заказчику данная идея понравилась, в т.ч. потому что можно было отложить обновления офисного парка компьютеров, которые со скрипом уже справлялись с 1с, а для работы в режиме терминала много производительности не нужно

Объем работ планировался такой:

  1. Проработать решение в плане железа и софта

  2. Выбрать площадку для размещения железа

  3. Настроить железо и софт

  4. Обеспечить максимально безболезненный переход сотрудников на удаленные рабочие столы

Все началось с анализа софта, которым пользуются сотрудники и в каком количестве. Выяснилось, что 1С пользуется только половина сотрудников, но все пользуются общими папками. В дополнение бухгалтерии необходимо, чтобы работала электронная отчетность и ЭДО, а это автоматом влечет решение вопросов с системами криптозащиты…

Софт определен, количество пользователей также. Концепция выбрана. Приступили к подбору железа. Т.к. нам не требовались космические скорости вычисления, было принято решение приобрести восстановленный сервер с 5-ти летней гарантией. Конфигурация получилась следующая:

  1. 1 юнит

  2. 8 дисков 2,5 (4x ssd 512 Gb– raid 10, 2x ssd 512Gb - raid 1, 2x 2Tb hdd – raid 1)

  3. 2 процессора x5660 (6 ядер, 12 потоков)

  4. 96 Гб ОЗУ

Дальше необходимо было решить вопросы с лицензиями на софт, потому что на отдельное ПО не подходили лицензии, приобретённые ранее, и требовались специальные серверные лицензии. Этот этап мы так же прошли.

Сервер получен, софт загружен и протестирован, заведены учетные записи пользователей. Но перед тем, как устанавливать сервер в дата-центр необходимо было решить вопросы с безопасностью:

  1. Доступ через сеть Интернет;

  2. Разграничение прав пользователей непосредственно на сервере;

  3. Резервное копирование данных.

Для доступа к серверу было принято решение использовать VPN, который так же был установлен на данный сервер. Для авторизации пользователя используются сертификаты. Административный доступ без VPN оставлен только через удаленную консоль дата-центра.

Папки и базы были строго типизированы и для пользователей были разработаны групповые политики в зависимости от должности и прав.

Для резервного копирования данных был закуплен NAS, который установили в офисе, и он копирует критически важную информацию в часы, когда офис не работает – ночью и в выходные дни.

Далее сервер был смонтирован в одном из дата-центров Москвы, проведены последние испытания и за предстоящие выходные нужно было полностью изменить формат работы сотрудников:

  1. Перенести на сервер весь объем данных из офиса (более 600Гб)

  2. Перенести данные с рабочих мест пользователей

  3. Настроить аналогичное окружение текущему локальному рабочему месту

  4. Настроить для всех пользователей удаленный доступ

Дальше была слаженная командная работа:

  1. В пятницу после окончания рабочего дня в офисе локально была собрана информация на внешний жесткий диск. Диск был зашифрован и в таком виде отправился в дата-центр

  2. На удаленных площадках людей попросили задержаться, чтобы им в первую очередь произвести настройки для доступа к удаленным столам

  3. Так же на все машины в офисе было установлено необходимое ПО для доступа к удаленным рабочим столам

  4. Суббота была посвящена копированию данных, раскладыванию данных по учеткам пользователей, а также настроек окружения: прописыванию путей к базам 1С, проверке доступов к общим папкам и т.п.

  5. В воскресение контрольная проверка.

  6. Всем пользователям был предоставлена инструкция – она была простая: 2 раза кликнуть на значок удаленного рабочего стола у себя на рабочем столе.

В понедельник офис начал работать в новом формате и сразу обозначилась проблема…

На части компьютеров забыли в настройках указать, чтобы принтеры пробрасывались на удаленные столы – офис и склад не мог печатать документы. Это устранили довольно оперативно. Дальше принялись переносить данные с дальних площадок.

За 3 дня было решено еще немного мелких и не существенных проблем.

Получили довольно надежное решение, которое:

  1. Обеспечило доступ всех сотрудников к корпоративном сервисам и позволила уйти от пересылки файлов и выполнения двойной работы

  2. Сократили потребление трафика на удаленных площадках, т.к. опять же файлы передавать больше не было необходимости

  3. Обеспечили безопасный доступ без особых ограничений, т.к. VPN работает по 443 порту

  4. Построили решение фактически за стоимость обновления парка компьютеров, т.е. Заказчик обошелся минимальными затратами

Затраты на покупку сервера и дополнительных лицензий обошлось чуть более 140.000 рублей.

Размещение сервера в Дата-центре около 35.000 рублей в год.

В ноябре 2021 – 4 года как проект работает без особых нареканий.

P.S.: немного более глубоких технических подробностей:

Сервер был куплен восстановленный - HP DL360 G6 c 2мя процессорами intel x5660, рейд - HP Smart Array P410i. Диски использовали WD Black серии как SSD, так и HDD. Нам удалось купить коробочную версию Windows 2008 R2 стандарт c 25 клиентскими лицензиями по довольно большой скидке, но это все равно была основная статья затрат, даже больше, чем железо.

Лицензия MS Office расширенная не потребовалась для совместного использования, как и для дополнительного софта, такого как Adobe Reader, архиваторы и другой стандартный софт.

Еще одна существенная статья затрат была лицензия КриптоПро на сервер.

1С перебрался в новый формат без проблем. Единственное, что было переделано – это текстовые базы перевели в SQL, соответственно на сервере была развернута СУБД PostgreSQL.

Для организации VPN использовали opensource – SoftEther VPN как на стороне сервера, так и на стороне клиента. Подключение настроено на автоматически поднимать сессию при включении компьютера. На компьютере пользователя появляется еще одна подсеть без доступа в Интернет и дальше ярлыком на рабочем столе пользователь подключается к удаленному столу. По затратам лицензии на ПО заняли большую часть бюджета.

Для резервного копирования приспособили имевшийся на тот момент у Заказчика WD My Cloud, на котором на уровне ОС доставили приложение для VPN. Архивирование данных настроили силами Windows.

Комментарии (24)


  1. baldr
    03.12.2021 18:41
    +3

    Простите, не удержался


    1. EVA_Systems Автор
      03.12.2021 18:51

      Всегда есть риски, вопрос как с ними работать. В данном случае всегда есть почти полная копия сервера в офисе на вчера. Подход с резервной копией в офисе позволяет в течение 1-2 дней восстановить всю работоспособность, а части сотрудникам можно восстановить возможность работать почти сразу.


  1. Valser
    03.12.2021 18:53
    +1

    Думал будет подробный отчёт как вынес с железа в Amazon\Azure\Google с обзором методов, инструментов, подводными камнями и фин. отчёт....


    1. EVA_Systems Автор
      03.12.2021 18:57

      Был опыт с несколькими операторами SaaS, но опыт отрицательный. Как-нибудь его опишу в отдельной статье. Если совсем кратко не смогли найти компромисс между стоимостью виртуальных ресурсов и реальной производительностью, того, что нам выделили. Самые серьезные нарекания у нас были к дисковым накопителям, когда в самый неподходящий момент производительность доступная нам падала до нуля и работать было не возможно, когда тебе нужен доступ к файлам.


      1. Valser
        03.12.2021 19:31

        Так то о чём я писал это не SaaS, это немного другое, эти компании предоставляют услуги в модели "SaaS", но тут о другом.


  1. balamutang
    03.12.2021 18:56

    А причем здесь облако?


    1. baldr
      03.12.2021 19:04
      +1

      No one will take us seriously unless we're doing something in the cloud


  1. isitnull
    03.12.2021 19:27

    На мой взгляд, прекрасное решение для такой задачи, централизованное хранение и обработка данных идёт на пользу в таких случаях. Не очень понял, что такое "текстовый формат" применительно к 1С. Интересно, какая версия 1С - 7.7 или 8.x?


    1. EVA_Systems Автор
      03.12.2021 19:35

      На тот момент предприятие работало на 1С 8.2 Бухгалтерия + Комплексная автоматизация. Сейчас уже на 8.3. Базы были в текстовых файлах. Сервер же изначально готовили так, что базы будут перенесены в СУБД - это так же повысило производительность 1С, т.к. отдельные базы уже стремились к 4Гб, что много для хранения в файлах.

      Спасибо за замечание по "текстовому формату" - правильнее файловые базы 1С


      1. psynix
        04.12.2021 00:08

        4гб, счастливые люди, у меня самая маленькая 1.7 Tb


      1. nitro80
        05.12.2021 09:46

        Интересно у вас выходит...

        Вы за всё обошлись 140000, когда лицензия на работу 1с с postgesql стоит 86000 ????


        1. EVA_Systems Автор
          05.12.2021 10:01

          Версия которая, была у заказчика поддерживала postgresql, тут дополнительных затрат не было. Стоял вопрос переноса лицензий с одной машины на другую и с этим каких-либо проблем не было и решилось через поддержку.


  1. micbal
    03.12.2021 19:29
    +2

    При плохих интернет каналах, весь обмен информацией сделали по интернету. :) А раньше часть по локальным сетям ходила. Логика...


    1. EVA_Systems Автор
      03.12.2021 19:48
      -1

      Логика простая - всем работать на удаленном рабочем столе. Он вполне сносно работает даже на скорости 100 Кб/с и при не очень стабильном пинге. И для формирования накладных и УПД, а так же выполнения простых проводок и работы с excel файлами этого хватало на удаленных площадках. Обрыв связи с удаленным рабочим столом не приводит ни как каким фатальным последствиям - зашел заново и продолжаешь работать дальше. Головной офис находится в Москве и в целом с Интернетом у них все сносно - из офиса все летает, я бы сказал. Внутри единого сервера - скорость доступа и обмен данными еще быстрее, чем в локальной сети.


      1. mayorovp
        04.12.2021 11:12

        Он вполне сносно работает даже на скорости 100 Кб/с и при не очень стабильном пинге.

        Это юмор такой или что? При "не очень стабильном пинге" любой набор текста лагает и тормозит. Однопальцевому оператору сойдёт, но любой другой специалист превратится в такого же однопальцевого.


        1. EVA_Systems Автор
          04.12.2021 12:19

          Если исходить из того, что связь плохая 100% времени, Ваше утверждение корректно, если нестабильность проявляется время от времени, то это меняет ситуацию. И я исхожу от задача, которые должны выполнять сотрудники и из удовольтворенности Заказчика и пользователей. Результат был достигнут: на складе смогли формировать УПД непосредственно из 1С, а не по локальным excel таблицам. Кладовщики смогли проставлять количество получаемого материала, т.к. номенклатура идентична, за редким исключением. Это исключило двойную работу: сначала в excel, с пересылкой данных и заведение в ручную в офисе в 1С.


          1. mayorovp
            04.12.2021 17:19

            Вы сейчас сравнили работу в 1C напрямую и "через Excel". Но из этого сравнения никоим образом не вытекает необходимость запуска 1C по RDP.


      1. nitro80
        05.12.2021 09:49

        1С грузилась бы часами

        Тонкий клиент относительно быстро работает через 3-4G


  1. rionnagel
    04.12.2021 01:33
    +3

    Не выглядит надежно и мало технических деталей. Дайте я угадаю, на хосте (без виртуализации) стоит сервер терминалов + впн сервер и по большому счёту всё (+всякие 1с и т.д.)? Линк от провайдера приходит напрямую в хост (с крайне устаревшей системой) и это разруливается виндовым фаерволом? Нет никакого доступа до ipmi? Если система встанет колом ехать в датацентр? Бэкап на этот же хост? Или я что-то пропустил? Это слобавато для статьи имхо.

    Я ожидал почитать про виртуализацию, вланы, лацпы, возможно vxlan, роутеры (хотя бы виртуальные), процентах избыточности, зачем hot spare, схд/гиперконвергентная хранилка, особенности настройки и мониторинга этого всего. И что вам это вообще дало.

    Из того, что вы описали я понимаю, что бюджет очень маленьний. Но стоило хотя бы 2 хоста и управляемый свитч, аренда 3х юнитов колокейшена. Я бы предпочел даже с 1 хостом использовать виртуализацию и виртуальный роутер.

    Как я понимаю это стоило дешевле, чем поднять скорость интернета в офисе/подключить дополнительный isp? В этом была основная проблема? Просто типичный офис на 20 человек это 1-2 тауэра, которые стоят желательно в отдельном помещении.


    1. EVA_Systems Автор
      04.12.2021 01:46

      В статье все это описано. Поясню в комментарии кратко. Сервер в Интернет не ходит совсем для пользователей. Доступ к серверу только через VPN, все терминальные (пользовательские) машины в одной виртуальной сетке в итоге. Админский доступ так же через VPN или как раз через ipmi, если что-то пошло не так.

      Архивирование происходит на NAS, который установлен в офисе. Архивирование настроено в нерабочий часы и в выходные. В архиве все данные необходимые для работы компании. Время восстановления сервиса я описал выше в другом комментарии.


      1. rionnagel
        04.12.2021 01:52

        Значит я читал невнимательно, ночь).


  1. LimbPro
    04.12.2021 12:00

    А почему выбрали этот ВПН? А не тот же l2t?

    Логичнее было бы поднять туннель на офисном роутере, а не у каждого пользователя офиса.


    1. EVA_Systems Автор
      04.12.2021 12:05

      С этим vpn мы давно работаем и он работает на 443 порту, что делает его доступным почти без ограничений из любого места подключения.

      Вариант использования роутера рассматривался, но победило единообразие. Часть пользователей с ноутбуками, которые не всегда работают из офиса, плюс существует миграция техники между объектами Заказчика. А при предложенном подходе - достаточно подключить компьютер в сеть с доступом Интернет и пользователь может работать.


  1. werter_l
    05.12.2021 11:22

    Спасибо )
    На данный момент реализовано на proxmox ve (+ китай-серверы на kllisre d4 — xeon-e5450.ru) что-то похожее ( схема-эконом — 1 сервер на колокейшн + 1 локально у клиента с периодической репликацией по крону и впн с wireguard + инкрементный бэкап с помощью proxmox bs на nas (xigmanas) ). На win инкрементное резервное копирование файлов\папок настроено с помощью Kopia.

    Про proxmox, pfsense etc forum.netgate.com/topic/163435/proxmox-ceph-zfs-pfsense-%D0%B8-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D0%B2%D1%81%D0%B5-%D1%87%D0%B0%D1%81%D1%82%D1%8C-2