Спустя ровно год после написания статьи «Опыт работы эникейщиком/системным администратором в бюджетной организации» и 2,5 лет после написании моим зам. директора подразделения статьи «Реанимация ИТ инфраструктуры» я хотел бы продолжить данный рассказ.
Помню, в одном из комментариев я встретил фразу:
Поэтому всё же посоветую обоим хабраюзерам из этой помойки собраться с духом и свалить — ничего вы в этом болоте не разгребёте и ещё через два года, а сидеть страдать фигней за 12 тысяч — это очень идиотский способ убить время.Но, как ни странно, из того, что мы делали все-таки что-то получилось, и я хотел бы рассказать как далеко мы зашли:
- создан домен Active Directory Domain Services с автоматическим управлением учетными записями и подразделениями (OU);
- внедрен Office 365;
- развернут Spacewalk (ПО для управления *nix операционными системами);
- создан HA MySQL Server master-master (Active-Passive);
- развернута хостинг-панель Ajenti;
- настроен SSL доступ к веб-ресурсам компании;
- мигрирован VMware vCenter с 4.0 на 5.1U3;
- внедрен ESET NOD32 Business Edition ver. 5;
- внедрена авторизации в сети на базе МСЭ Cisco ASA 5525-X NGFW c CDA;
- разрешены проблемы с кондиционированием в серверной.
За прошедший год мы с новым коллегой ( astrike — у него Read-only аккаунт, поэтому статью пишем вместе), о котором была речь в прошлой статье, разграничили зоны компетенций и стали приводить ИТ инфраструктуру к приличному виду. Он занимается написанием скриптов автоматизации (в т.ч. и на PowerShell), настройкой синхронизаций, разверткой и поддержкой *nix серверов и всего, что с ними связано. Я же занимаюсь продуктами Microsoft Windows, MS SQL, Office 365, виртуализацией и сетями передачи данных (Ethernet, SAN).
Краткое описание ИТ инфраструктуры компании
Активное сетевое оборудование Cisco:
- core: Catalyst 6509;
- access: Catalyst 35XX;
- WLAN — controller: 4404 и 50 AP.
Серверная инфраструктура:
- две 42U стойки с 11 серверами Sun Fire X4170M2, объединенных в кластер ESXi;
- СХД Hitachi AMS 2100;
- 2 рядных кондиционера APC InRow (без резервирования), выносные блоки которых в жару охлаждаются проточной водой из садовых распылителей.
AD DS и Office 365 (Azure)
Основной задачей на момент внедрения была автоматизация жизненного цикла электронной почтовой службы. Для этих целей мы воспользовались уже частично развернутым на предприятии программным продуктом Office 365. Сотрудники стали пользоваться корпоративной почтой, при чем достаточно много и часто (особенно, после подписания приказа о корпоративной почтовой системе).
Совместно с нашим 1С-ником мы настроили автоматическое создание учетных записей в AD. Данный процесс мы организовали следующим образом:
- сервер 1С выгружает данные о работниках и структуре организации (OU) в файл с определенной структурой.
- скрипт на PowerShell забирает данные и формирует файл с патчем (разницей между текущим состоянием AD и выгрузкой из 1C). Сводка из этого патча рассылается заинтересованным лицам (действия, затрагивающие некоторые руководящие должности, требуют ручного подтверждения). Затем ночью патч применяется: создаются новые и обновляются существующие OU; добавляются, актуализируются, активируются и деактивируются учетные записи (естественно, по подразделениям). Такой подход гарантируют, что случайно не будут (например, при ошибке в 1C) деактивированы все учетные записи (отдельная проверка на количество изменений в патче) или учетные записи руководящих должностей и системных администраторов;
- после заведения локальных учетной записи DirSync синхронизирует (вообще, он синхронизируется раз в полчаса) локальный AD с облачным Azure AD (AAD);
- затем скрипт лицензирует и настраивает параметры учетных записей в облачном AAD в зависимости от их групповой принадлежности.
- теперь пользователю требуется получить пароль от своей учетной записи. Для автоматизации выдачи паролей был написан специальный PowerShell скрипт и добавлен пункт меню «Распечатать новый пароль» в AD. При нажатии на него автоматически распечатывается пароль пользователя и инструкция по использованию информационных служб на принтере «по умолчанию» для данного пользователя (рисунок ниже). После печати все файлы удаляются.
В настоящее время продолжается процесс ввода ПК в домен. На текущий момент в домене уже более 150 ПК под управлением OC Windows 8.1. В дальнейшим планируется развернуть Windows 10 на всех ПК компании.Для именования ПК мы используем наклейки с шаблонным идентификатором компьютера (например, COMP-00045), которые клеим на ПК и регистрируем в домене.ОС *nix и Spacewalk
В связи с наличием зоопарка *nix серверов, некоторые из которых уже вышли из поддержки (например, Ubuntu 10.04), а другие просто подпорчены, например, сборками пакетов через make install, было решено создать свой «золотой образ», на основе которого разворачивались бы новые *nix сервера. Мы решили, что для наших целей лучше всего подходит дистрибутив CentOS, так как у него есть большое количество структурированных мануалов, срок поддержки, а также достаточно консервативная политика. Для администрирования этих серверов было решено использовать Spacewalk. Spacewalk — это система управления *nix операционными с системами с поддержкой проксирования репозиториев (как WSUS на Windows), управления конфигурационные файлами, установленными пакетами и возможностью выполнения комманд на подключенных серверах.
В итоге, в VMware vSphere был создан шаблон (template) со скриптом, который вводит сервер в домен (для DNS и авторизации), настраивает конфигурацию сети и пользователей. Таким образом разворачивание новой системы свелось к следующему:
- создания виртуальной машины из шаблона в VMware vSphere;
- подключения к этой виртуальной машинке и запуск скрипта развертки (на bash), который назначает системе IP (на выбор статический или DHCP) и другие другие параметры (в т.ч. hostname), вводит сервер в домен AD, подключает сервер к Spacewalk, который сразу же устанавливает необходимые пакеты и разворачивает конфигурационные файлы;
Таким образом, получается новый *nix сервер с доменными политиками доступа (вход до доменной учетной записи), автоматическим обновлением Errata, настроенным мониторингом Zabbix, центрально-управляемыми репозиториями и конфигурационными файлами (Spacewalk).
Благодаря унификации дистрибутива сильно упростилось администрирование серверов (одинаковые команды, расположение конфигурационных файлов, единые репозитории и пакеты). А благодаря централизованный системе управления ОС Spacewalk конфигурационные файлы не теряются (и есть возможность обновления конфигурационных файлов сразу на всех серверах с подстановкой переменных), всегда видно какие сервера требуют обновления, а критические обновления автоматически устанавливаются.
В настоящее время осуществляются работы по переносу приложений (в основном, веб-приложений) на новые сервера и по разворачиванию новых сервисов.
HA MySQL DB
Для непрерывной работы практически любого приложения требуется бесперебойная работа БД. А так как большинство существующих в компании приложений используют MySQL, то был развернут MySQL сервер (не MariaDB, так как в момент разворачивания у неё была какая-то ошибка, о который мне сообщил наш разработчик).
Непрерывность работы БД обеспечивается master-master репликацией по стратегии Active-Passive (балансировка нагрузки пока не актуальна), т.е. один сервер всегда является основным (Active), но при его падении (или падении MySQL сервера на нем) все запросы переходят на Passive сервер. При поднятии Active сервера все запросы снова переходят на него.
Такое переключение (failover) достигается благодаря использованию виртуального IP (VIP), которое обеспечивает демон keepalived. Использование данной технологии позволяет (в отличии от proxy-серверов) ограничивать доступ к схемам по IP и не создает лишнего хопа, следовательно и лишней задержки.
Из основных настроек БД, на мой взгляд, осталась только настройка LDAP авторизации. Конечно, можно и SSL настроить, но это уже после разворачивания центра сертификации (CA).
vCenter и бекапы
Так же за прошедший год мы смогли мигрировать кластер VMware vSphere с более чем 100 рабочими виртуальными машинами и настроить функции HA, DRS, SDRS и DPM, а на все гостевые операционные системы было установлено ПО VMware Tools, что позволило использовать виртуальную инфраструктуру на полную мощность.
В дальнейшем была настроена система бекапов с использованием средств Veeam Backup and Replication, которые на данный момент развернуты в триальном режиме, но уже настроены такие функции как автоматическая проверка бекапов в виртуальной лаборатории, служба VSS для Windows приложений. Как показала практика бекапы копии VM консистенты и стартует без проблем (тьфу, тьфу).
Так теперь выглядит процентное соотношение вирутальных машин в нашем кластрере. До конца года мы планируем полностью вывести из эксплуатации Windows Server 2003, а так же заменить старые Debian и Ubuntu на CentOS 7.
Защита рабочих станций и Windows серверов
Для защиты рабочих станции мы используем антивирус ESET. За несколько лет эксплуатации достаточно хорошо себя зарекомендовал, а самое главное, что у него есть за хорошее централизованное управление на компьютерах вне домена. Мы развернули версию 5, так как примерно 400 компьютеров обращаются к managment-серверу ERA без установленных агентов (как это надо в версии 6), а для их установки желательно иметь домен для установки на них агентов ESET.
Как мы решили проблему с кондиционированием серверной
Мы создали в серверной холодные и горячие коридоры с минимальными затратами: стойки были накрыты монолитным поликарбонатом, а с помощью направляющих были сделаны двери для входа в коридоры.
В результате температура в серверной понизилась до 18 градусов в холодном и до 23 — в горячем, а также на 40% снизилась нагрузка на кондиционеры.
Создание авторизации для доступа к глобальной сети
Для ограничения доступа в интернет сейчас развертываем систему авторизации в сети на базе Cisco ASA 5525-X и CDA сервера. Но пока все это в процессе. Конечно, хотелось бы сделать это с использованием IEEE 802.1X для всех устройств в сети, но как получится в итоге — неизвестно.
Подводя итоги
Как ни странно, но за этот год мы с другом смогли реализовать достаточно много крупных и интересных проектов, попутно закончив Университет. Сейчас идет процесс причесывания различных вещей, а так же написание регламентов и приказов по использованию сети, домена и т.д.
После этого останется выбрать и внедрить решения для организации HelpDesk`a, а так же развернуть некоторые продукты из линейки System Center Configuration Manager, Operations Manager и, возможно, Service Manager. Тогда почти все проблемы будут решены, кроме отсутствия крупных финансовых вливаний в ИТ-департамент, которые влекут за собой отсутствие денег на модернизацию серверов, коммутаторов и т.д, и повышение зарплат, но это уже совсем другая история…
Если вам будет интересно, то мы можем более подробно описать свой опыт внедрения для любых из вышеописанных программных продуктов, где уже будут конкретные технические подробности.
Комментарии (71)
lostinfuture
15.08.2015 11:53+3Простите за нескромный вопрос, а все это как то повлияло на вашу зарплату?:-)
fcdm
15.08.2015 14:09+2Оклад за год не подняли, он как был, так и остался 13,3к (чистыми), но добавили ежемесячную надбавку 6к и 6,5к платит другое подразделение, за то, что я администрирую их сервера (2 соляриса, 4 WS 2003 и 2 WS2012 R2). Итого получаю на карту 26к
Александр (который отвечает за линукс) получает 13к, но ходит день через день
DIHALT
15.08.2015 18:55+12Мда. Мрак.
mikes
16.08.2015 13:26Не все то что ИТ будет default city :) для регионов это вполне достойно.
DIHALT
16.08.2015 13:28+2Ну я вообщет в Челябинске живу и не особо понимаю как тут можно существовать на 26к.
mikes
16.08.2015 13:35:) ну то Челябинск… жизнь у вас будет немного дороже европейской части РФ… к примеру Белгород Воронеж и тд…
Nikobraz
17.08.2015 12:43Да ладно, живу, снимаю квартиру на Теплотехе и работаю за 25к. У большинства и того хуже. Средняя з/п сисадмина 23к по городу.
У нас даже сипипишников с 2+ летним опытом хотят на 25к нанимать.
Вот, например: 74.ru/job/vacancy/1947249.html
heathen
17.08.2015 22:20А мы говорим о системном администраторе или энекейщике всё-таки? Мне крайне любопытно — соседний город, неужели такая большая разница? Или я просто не знаю зарплат в своём городе?..
Nikobraz
17.08.2015 22:45Екат? Там средняя зп админа 30к. Разница весьма-таки ощутимая. И ИТ там в разы лучше развито.
В Челябинске потолок 35, дальше либо многоруких Шив ищут, либо очень узких спецов. Изредка в последнее время начали проскакивать вакансии на 45, что не может не радовать.heathen
17.08.2015 22:57Видите ли, у меня хороший друг долго искал начинающего админа с мозгами за 25-30. Плюс оплата бензина, мобильной связи и т.д. Даже знания особые были не нужны, только желание учиться и способности это делать. Не нашёл. В смысле, было несколько попыток, но безуспешных. Поэтому я и удивлён, что есть подготовленные люди, которые готовы работать за такие деньги.
Nikobraz
17.08.2015 23:18+1Начинающий админ с машиной это редкость, по крайней мере до 25 лет, а после как правило на такую зарплату уже не идут. На машине даже без образования можно и больше зарабатывать.
За маленькие деньги работают либо выходцы из бюджетных компаний, когда после их 15к зарплаты, 25к в мелкой конторе раем покажутся. Либо самоучки, типа меня, которым без высшего образования тяжело нормальную работу найти. Ну и те, кто только перешел с эникейства и еще не уверен в своих силах. А также нельзя забывать ту прослойку админов без амбиций, которым важно только в игрушки на работе играть.
В-общем сложный вопрос и причин много.
Хорошего админа нелегко найти даже начинающего, это должны сойтись звезды и что Вам админ понадобится и что он свободен будет. Я 2 года назад приехал в Челябинск, на старом месте 5 лет не мог ни одну работу по профилю найти, а тут через 2 недели нашел первую официальную работу. Когда менял даже разрыва стажа не было, уложился в 2 недели. И за свое будущее я спокоен.heathen
18.08.2015 09:08Вы сказали, что
Там средняя зп админа 30к.
Это означает, что должно быть достаточное количество людей, готовых за эту з\п работать. Хотя, конечно, понятие «средняя» такое… обманчивое. Может быть два админа за 40 т.р. и один — за 10. Средняя з\п у них будет 30 :)
А машина была опциональной (т.е. было бы плюсом, если бы она была).
Я, в общем, поэтому и уточняю, какие конкретно должности имеются ввиду, потому что общался с парой людей, так они, утверждая, что админы, не знали даже что такое IP-адрес и зачем нужна маска подсети. Это даже недоэникеи какие-то были.Nikobraz
18.08.2015 11:15Ну да, примерно так и считается. Вообще это средний показатель по вакансиям в общем доступе в единый момент времени, т.е. реальная может быть как выше, так и ниже. Число это достаточно стабильное, только за последний год примерно на 10% упало. В Че 25->23, в Екате 32->29.
Хыхы, рвутся в отрасль люди как могут. Я вот получил какое-никакое профильное образование «Оператор ЭВМ». Мы кодили на VB6+ADO, винду ставили, одноранговые сети тянули и поднимали.
Ну видимо вам не повезло, либо не там искали.
Вот покажу свое резюме(спец. очень широкого профиля) на денек
chelyabinsk.hh.ru/resume/4cbf336fff01d5e97c0039ed1f5a6f34594b4f
Считаю свои навыки и опыт вполне адекватными для зарплаты около 30к в Челябинске, с хардкорным энтерпрайзом дел еще не имел, но стараюсь хотя бы теоретические знания поддерживать. Сейчас работа голову не мучает, получаю 25, 90% рабочего времени самообразованием занимаюсь.heathen
18.08.2015 22:19+1Спасибо, крайне любопытно. Видимо, беда в «загрязнённости» рынка. Слишком много предложения. Рынок конкурентен, но вот из-за обилия народа, поставившего пару раз винду дома на своём компе и возомнившего себя спецами найти действительно способных\умеющих людей сложно.
Nikobraz
18.08.2015 22:30+2Именно, всякие левые люди попавшие в отрасль демпингуют, из-за чего страдают профессионалы. Да и начальству проще есть кактус и менять студентов работающих за 15-20к, чем держать профессионала за 40. Риск-менеджмент не в чести в этой стране.
ultral
19.08.2015 08:47+1потолок 35-45, это потолок для фирм, которые работают на «локальный» рынок, хотите интерсней(и возможно больше) — ищите удаленку! у меня стажа официального лет 8 будет, из них порядка 5 это удаленная работа(в 3 разных фирмах). Хохма: за эти 5 лет, я только один раз видел свои сервера, съездив в англию на спор на машине
p.s работаю системным администратором(если так можно сказать) в Че
Sergey-S-Kovalev
16.08.2015 14:22Вы получаете в 2-2.5 раза меньше по региональным расценкам, и 3-4 по столичным.
cepreu4habr
16.08.2015 16:57Простите за еще один нескромный вопрос, но какова ваша мотивация в том, чтобы работать в этой организации за такую сумму и делать это столь добросовестно? Кажется очевидным, что вы достаточно компетентны, чтобы получать значительно большую зарплату в более адекватных организациях.
fcdm
16.08.2015 20:40Во-первых, для меня это очень хороший опыт, во-вторых, очень приятно смотреть как на глазах инфраструктура преображается, в-третьих, отличная коллектив в котором высокая мотивация и которая так же заинтересована в результате. Да и хочется более, менее закончить начатое, чтобы была какая-либо целостность.
Да и сейчас мы решил с другом пойти в этом университет в магистратуру на ИТ-менеджмент :-)Sergey-S-Kovalev
17.08.2015 05:17Если Вы собираетесь работать там все время обучения, то смысл есть, а вот если нет, то не рекомендую
fcdm
17.08.2015 12:57Да, данную работу я рассматриваю только на период обучения в связи с гибким графиком и понимающим руководством
bARmaleyKA
17.08.2015 22:11А можете сказать сколько в вашем городе средняя цена квадратного метра не в новостройке? Просто чтоб знать каков у вас индекс недоступности жилья.
Night_Snake
15.08.2015 12:26Не раскрыто управление сетевой частью — как бэкапите и проверяете конфиги, подключен ли RADIUS/TACACS, какова топология и т.д.
В целом — красивенькое резюме, как уже сказали, без грамма технических подробностей.
Но за такую зарплату даже это уже выглядит достижением.fcdm
15.08.2015 15:31Сеть у нас как я писал выше состоит из управляемых коммутаторов Cisco линейки Catalyst.
Примерно 39% от нее составляют WS-C3550, 22% — WS-C3548, WS-C3560 — 13%, и по 2 -3 штуки разных моделей WS-C2960 и 2950. Так же все это разбавляет десяток неуправляемых коммутаторов с различной плотностью портов от 4 до 48. Всем кроме гигабитных коммутаторов (96%), присвоен статус EOL.
Управляем мы этим всем через консоль без использования специального ПО (Cisco LMS, Prime и т.д). Так как их поддержки в новых версиях нет.
Бекапится это все с помощью нехитрого скрипта на баше который копирует конфиги на сервер и под гит.
Скрипт#!/bin/sh hosts="/backups/hosts" date=`date '+%Y.%m.%d'` ndate=`date '+%d.%m.%Y'` echo `sudo chown nobody:nogroup -R /backups/configs/` cat "$hosts" | while read host; do ( echo "open $host 23" sleep 4 echo "habr" sleep 3 echo "habr\n" sleep 3 echo "en" sleep 3 echo "habr\n" sleep 3 echo "copy run tftp" sleep 3 echo "192.168.1.1" sleep 3 echo "\n" sleep 10 ) | telnet done echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs add /backups/configs/*` echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs commit -m "Added configs from $ndate"` echo `git --git-dir=/backups/configs/.git --work-tree=/backups/configs tag "$date"`
citius
15.08.2015 19:40+1Есть весьма старая штука — rancid, именно для этих целей. Там завернуто под cvs, сохраняются диффы, так что можно отслеживать историю изменений.
Посмотрите, может понравится.
Night_Snake
15.08.2015 20:11Попробуйте NOC Project — тут вам и конфиги, и управление, и inventory и еще куча всего-разного.
Вы, конечно, молодец — я бы за такие деньги работать не стал
catsfamily
15.08.2015 16:01+1Молодцы!
Про техническую сторону тут еще могут и «полить» и похвалить. Я не о том/
Полагаю, что основной бонус — опыт и реальная, практическая реализация в копилке «а что вы уже делали/сделали» :) На фоне «пионерии», размахивающей сертификатами и дипломами без практики и (самое главное) — без мозгов — это очень неплохо. Не останавливайтесь!
klikalka
15.08.2015 16:38+2Скажу что это отличный старт! Много опыта и практических навыков, есть от чего отталкиваться. Как раз того, чего многим «начинающим» не хватает. Отличный задел на будущее.
И хорошо что не послушали тех кто предлагал «свалить», считая что разгрести существующее не удастся (И спасибо им за то что захотелось доказать обратное)
shtorman
15.08.2015 18:19+1Вы делаете хорошее дело! Описание выполненных задач и ИТ-инфраструктуры — впечатляют! Уровень финансирования университета дает о себе знать, даже завидую белой завистью.
Но хотелось бы увидеть не только описание стандартных решений для крупных организаций, но и специфических для образовательной организации (если вы их затрагивали), а именно:
- введены ли в домен учебные ПК?
- как организована регистрация студентов или под какими логинами они получают доступ к ПК?
- как храните учебные материалы?
- используете ли LMS?
- решены ли вопросы по инвентаризации оборудования и ПО?
- как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
- используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?
Еще вопрос про «я администрирую их сервера»? Эти сервера физически находятся где? в серверной или в подразделении? И вы их администрируете один? другие ИТ-шники их не трогают? Если вы один — это минус для организации — при вашей болезни\увольнении\отпуске они останутся без админа…
У себя я одной из целей сделал: ИТ-инфраструктура — обслуживается отделом ИТ, конечно назначены ответственные, но есть и дублирование функций (на случай недоступности сотрудника: болезнь\отпуск и т.п.), и даже в случае аутсорса — взаимодействие через отдел ИТ. Так мы держим руку на пульсе…
Каков штат отдела ИТ сейчас? Надеюсь Вас не 3 человека.
из предыдущего поста:
На вопрос у руководства, почему никто не хочет работать, получаю ответ: “Что ты хочешь? Это же бюджетка!”, а при просьбе увеличить зарплату, получаю ответ: «Тебя тут никто не держит! Хоть сейчас можешь уходить...»
Став руководителем, сталкивался с этим. Как говорят студенты «Всех не отчислят!», то же и в отделе «Всех не уволят!». Но после почти года работы оказалось, что не все готовы свалить (а тут еще и кризис на новый виток пошел!). Был разговор с отделом и уволены те кто явно тянул вниз! Этот как холодный душ для остальных! Главное правильно расставить акценты и ударения и интонацию выбрать верную! Из оставшихся выделены активисты — + к зарплате (не большой, но все же)! И жизнь начала налаживаться!
Подведя итог скажу -это от руководителя отдела зависит! Если он захочет — все будут работать, если не захочет связываться, так все и зарастет мхом… (в вы профессионально выгорите, через пару лет...)
Очень понравился пункт про печать данных из меню ADUC о пользователе. Если не сложно, напишите об этом подробнее.
При написании регламентов -совет перечитывайте их не в одиночку. Очень высока вероятность закабалить себя неосторожной фразой или пунктом в документации. Как правило речь о том что «здесь имелось ввиду совсем другое, а не это, мы просто ошиблись, заложили на будущее» прокатывает очень редко, в основном в эти бумажки будут тыкать Вас… Это не повод откладывать в черный ящик разработку документации, но нужно быть внимательными.
Еще вопросы: каков общий возможный объем хранения данных в СХД сейчас (сколько дисков и каких установлено в каком RAID'e) и реально используемый объем?
Почему-то пропустил Ваши предыдущие два поста, перечитал, проникся, сочувствую (сам в схожей ситуации) и желаю удачи и терпения для новых достижений!khanid
15.08.2015 20:53как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?
Тут, кстати, даёт знать о себе знать правовой вакуум и тотальная неграмотность законтворителей.
Контентная фильтрация — а что фильтровать?
1) Единый реестр свободно, насколько помню, не распространяется. Да и это вопрос к провайдерам связи, скорее.
2) Если речь об экстремистских материалах, то, в принципе, ничего не стоит заблокировать все ресурсы, перечисленные в реестре на сайте минюста (да, с маленькой. К слову о степени уважения к этим всем структурам) РФ.
3) Но при этом, если речь идёт именно о материалах, коих на зеркалах запрещённых сайтов найти можно, то как установить, тот ли это экстремистский материал, или другой с просто некоторой схожестью? Нужен эталонный экстремистский материал. А это получается сам настраивающий ознакамливается с этим материалом. Иначе как может it спец сказать, то ли он блокирует. Упс, нестыковочка.
4) Wifi. Речь там об операторах связи. Опять вопрос о безграмотности законописателей. Они пользуются терминами «оператор универсального обслуживания», «оператор связи». А кого оператором связи считать? Определений ни по ссылке, ни в 149 ФЗ я не встречал.
Там нет однозначной трактовки. То есть если организация бюджетная занимается оформлением документов, или образованием, а бесплатный wifi — есть, то её и считать вроде оператором связи и нельзя, потому как организация занимается другой деятельностью. А всё остальное — двоякое толкование закона.
Понятное дело, что если придёт прокуратура с проверкой и скажет «блокировать, к вам закон применим, вы оператор связи, потому что бесплатный. А если нет, то покажите в законе, где не так», то тут ничего не попишешь. Даже с контраргументом, что в законе нет указания и того, кого считать оператором связи. Из спора с прокуратурой тяжело выйти победителем, сам же дураком и останешься, приходится заниматься вот такой вот шелухой. Потому что каждый проверяющий мнит себя самым-самым, заходит в гугл, пишет что-то из списка минюста, жмёт поиск, гугл выдаёт результат. А проверяющий говорит «ну вот, ищется же». На довод, что это, всё таки, вопрос к поисковику следует идиотское «но ищется же у вас». Это вкорне неправильно. Пока такая ситуация и синдром местного царка у нас цветут буйным цветом, у нас и будет получаться, что системы живут на энтузиазме отдельных работников, но будут начинать рассыпаться как только этот работник меняется. Потому что у следующего, вполне вероятно, может и не быть такого запала.
Я со всем этим столкнулся. Очень не вдохновился ситуацией. Вместо реальных дел занимаешься тем, что пытаешься подвести соответствие какой-то шелухи каким-то законам, которые принимались «между прочим».shtorman
15.08.2015 22:32Так бы и сказали, что адекватного решения по этому вопросу на данный момент Вы не знаете.
И либо надеетесь на «авось пронесет», либо просто этим особо не заморачивались и для вашей организации это не насущный вопрос…
Или поделитесь решением.
Между тем согласно статьи 10.1 ФЗ N 149-ФЗ (к вопросу о wi-fi)
Организатором распространения информации в сети «Интернет» является лицо, осуществляющее деятельность по обеспечению функционирования информационных систем и (или) программ для электронных вычислительных машин, которые предназначены и (или) используются для приема, передачи, доставки и (или) обработки электронных сообщений пользователей сети «Интернет».
т.е. это ОЧЕНЬ широкая формулировка… и хотя есть оговорки Роскомнадзора (легко найти в сети) у себя мы отказались от бесплатного wi-fi и реализацию доступа по wi-fi к служебным АРМ тоже не практикуем (это конечно не из-за закона, больше из-за особенностей инфраструктуры, но как дополнительный плюс к проводам).
По поводу контентной фильтрации все ровным счетом так же: есть требования, но инструменты каждый ищет\выбирает сам.
То, что знаю я:
1. «Родительский контроль» на стороне провайдера.
2. СКФ внутри организации+DNS фильтр (есть готовые решения позиционирующиеся как соответствующие ФЗ).
3. Белые списки ресурсов.
Согласно закону можем вообще никуда доступ не давать, тогда будем белыми и пушистыми. А Интернет — «Что у вас мобильников и планшетников нет? Вот ими и пользуйтесь, А здесь работать надо, а не в Интернетах сидеть...» (с).
Независимо от «неграмотности», компетентности и осведомленности «законтворителей» закон придется соблюдать. К тому же он описывает достаточно правильные вещи. Игнорировать закон — себе во вред.
Ждем, что ответит автор.khanid
16.08.2015 12:391. «Родительский контроль» на стороне провайдера.
2. СКФ внутри организации+DNS фильтр (есть готовые решения позиционирующиеся как соответствующие ФЗ).
3. Белые списки ресурсов.
1. Прокуратуру, к сожалению, не устраивает степень фильтрации провайдера. Вот тут я чисто логически понять не могу. Не устраивает фильтрация у провайдера, но претензии предъявляют абоненту.
2. Прокуратура настойчиво советовала пару решений. Отечественных! Гугление показало, что решения-то как-то уже с 30 клиентами в сети уходят в тормоза. Подозреваю лоббирование интересов.
3. Не везде концепция белых списков применима.
т.е. это ОЧЕНЬ широкая формулировка…
Тото и оно. Захотел подвёл сюда фразу «оператор связи», захотел — не подвёл.
У меня, в итоге, было решение сделано с Dansguardian.
Пришлось, конечно, списки лопатить. В итоге получился словарь в несколько тысяч фраз (помимо стоп-листа), который пришлось ещё дублировать в разных кодировках. Итого, прогон идёт тысячам по 15 фраз. При этом ещё долго вылавливал ложные срабатывания.
В целом, работает, но меня в последнее время не удовлетворяет. С сентября буду что-то менять. Не знаю, что, но вопрос этот себе я отметил.
fcdm
15.08.2015 22:29Уровень финансирования университета дает о себе знать, даже завидую белой завистью.
Это сарказм? За последние 2 года купили только жесткие диски для СХД, так как в ней полностью закончилось место и приходилось использовать жесткие диска «thin provision» и оперативку для 3 серверов. Антивирус взяли из за того, что сеть просто «кишила» вирусами и троянами. Когда поддержка Windows XP прекратилась MSE тоже перестал обновляться, после правок реестра на Windows XP для возобновления его работы системы часто работала нестабильно.
введены ли в домен учебные ПК?
На данный момент, не полностью, но планируется ввести в домен все компьютеры.
как организована регистрация студентов или под какими логинами они получают доступ к ПК?
Студенты тянутся из базы и так же добавляются в AD DS. Они получают доступ к ПК под своими учетками формата petr@edu.comp.ru
как храните учебные материалы?
Данный вопрос находится в зоне не моей компетентности. Скорее всего локально на рабочих станциях сотрудников.
используете ли LMS?
Да, еще за данный год внедрена БРС система нашими программистами. Решение было написано с нуля и исходный код которого находится на GitLab`е. Помимо этого некоторые подразделения используют Moodle
как решен вопрос по соответствию ФЗ №149-ФЗ и №436-ФЗ( контентная фильтрация)?
Насколько я понимаю данные ФЗ относятся к сервис провайдерам, а мы таковыми не являемся. Но все равно доступ в сеть в ближайшее время будет закрыт с помощью ASA: IDFW.
используете wi-fi? А запрет на анонимное использование Wi-Fi сетей в общественных местах соблюдаем? или он только для служебных ПК?
Очень понравился пункт про печать данных из меню ADUC о пользователе. Если не сложно, напишите об этом подробнее.
Постараемся в ближайшее время написать данную статью.
Еще вопросы: каков общий возможный объем хранения данных в СХД сейчас (сколько дисков и каких установлено в каком RAID'e) и реально используемый объем?
Так как жесткие диски у нас 3ТБ (в СХД мало слотов под жесткие диски) мы используем RAID 10shtorman
15.08.2015 23:27Это сарказм? За последние 2 года купи...
Не сарказм, обратил внимание на большой список дорогого оборудования закупленного ранее.
+ разговор о платных Office 365, ESET Node, внедрение Windows 8.1, System Center (не кризисный продукт)…
и сделал не верные выводы. Значит все таки кризис Вас тоже не обошел. Печально.
Студенты тянутся из базы и так же добавляются в AD DS. Они получают доступ к ПК под своими учетками формата petr@edu.comp.ru
Заманчивое, но крайне прожорливое решение по объему памяти на жестких дисках… Нам это станет доступно только после реализации редиректа домашних папок на сервер и укоплектования СХД большим объемом HDD… Пока даже в планах этого нет. Стоит ли это того?
Данный вопрос находится в зоне не моей компетентности. Скорее всего локально на рабочих станциях сотрудников.
Странно, мы реализовали такой подход:
к каждой учетке монтируется сетевой диск (DFS). В зависимости от прав пользователь видит только свое. У студентов три папки: учебные материалы, задания и выполнено. к первой доступ на чтение — там все материалы для учебы (курсы лекций, практики и прочее) доступна ото всюду, задания — доступны внутри аудитории (для каждой аудитории отдельная папка, только чтение у студентов), выполнено — так же внутри аудитории (+ запись для студентов).
внедрена БРС
не понял что это. Тоже пользуемся moodle, но внедрение еще не завершено.
ФЗ №149-ФЗ и №436-ФЗ
относятся не только к ИСП, посмотрите внимательнее.
Постараемся в ближайшее время
Спасибо!
Так как жесткие диски у нас 3ТБ
про рейд понял, про объем не понял. Всего 3 ТБ? а используемый объем? Если кол-во жестких ограничено, почему не перейти на зеркало? Настроить мониторинг состояния жестких дисков и иметь холодный резерв для замены HDD?fcdm
15.08.2015 23:48Не сарказм, обратил внимание на большой список дорогого оборудования закупленного ранее.
Office 365 полностью бесплатен для образовательных учереждений. Microsoft и ESET дают очень хорошие скидки вузам, а школам еще больше.
+ разговор о платных Office 365, ESET Node, внедрение Windows 8.1, System Center (не кризисный продукт)…
и сделал не верные выводы. Значит все таки кризис Вас тоже не обошел. Печально.
Заманчивое, но крайне прожорливое решение по объему памяти на жестких дисках… Нам это станет доступно только после реализации редиректа домашних папок на сервер и укоплектования СХД большим объемом HDD… Пока даже в планах этого нет. Стоит ли это того?
Это тестировали летом, на реальных студентах пока нет. Хороший вопрос кстати. Будем смотреть и думать возможные варианты. Вообще мы планируем, чтобы студенты хранили все в OneDrive (им доступен 1TB), а учетные записи на ПК удалять после недели бездействия например.
БРС это система учета успеваемости студентов.
Общий суммарный объем чистого места на СХД 21ТБ. RAID 10 был выбран для увеличения производительности, так как нам важна производительность СХД в связи с большим количеством VM и БД. До этого был RAID 5, но с ним не хватало IOPS`ов.shtorman
16.08.2015 00:27по Office 365 как я понимаю это здесь? Направьте почитать\ посмотреть, дельного ничего не нашел, но очень интересно!
БРС — ясно. Мы пока смотрим Электронный Деканат на основе Moodle (еще не решились).
ПО СХД больше вопросов нет! Действительно при таких объемах — RAID -10 это выход…
Спасибо!fcdm
16.08.2015 00:41Да, Office 365 как раз у нас E1, отличное решение, хорошо интегрируется с AD, так же включает в себя корпоративную соц. сеть Yammer
Я слышал, что у нас смотрят на решение от 1С, но более подробной информации я не знаю. Я стараюсь не лезть в учебный процесс.
IvanovSV
17.08.2015 07:45Насколько я понимаю данные ФЗ относятся к сервис провайдерам, а мы таковыми не являемся. Но все равно доступ в сеть в ближайшее время будет закрыт с помощью ASA: IDFW.
Расскажите это Макдональдсу, и на кого там еще недавно наезжали…
Это год назад все успокоились поверив, что «оператор связи» это оператор связи. А не то, что оказалось сейчас.
VFedorV
15.08.2015 18:31+3давайте уже к конкретике переходите! :) А так да, — молодцы!
Скрипты PowerShell интересно было бы посмотреть, конфиги HA failover cluster MySQL, Spacewalk…
cbone
15.08.2015 18:59+4Давайте цикл статей, по порядку что и как внедряли, но уже с техническими подробностями.
khanid
15.08.2015 20:17Хотелось бы подробностей.
А вообще да. Поднимать уже существующую структуру (как в заголовке указано, со дна) — это несколько сложнее, чем с ноля. Сам такой. Поскольку не только надо по новому рецепту пустить, но и ещё обеспечить бесперебойность работы подразделений организации, да и ещё, к тому же, есть вероятность, что в какой-то момент интересы поднимающего инфраструктуру начнут пересекаться с интересами пользователей (раньше было лучше) и тех, кому ничего менять не охото/боязно/лениво. Разгребание старой инфраструктуры — та ещё задача. Но и опыт. Не только в работе с ситемами и железом, но и с людьми (то, чего зачастую многим it'шникам не хватает), в том числе в случае, когда «вопреки, а не благодаря». После доведения всего до ума в некоторой степени всё пришло к «А чего ты в серверной? У нас что-то случилось?!». Хороший вопрос админу :D
Хотя нерешённых вопросов, на самом деле, прилично до сих пор. Просто для внешних глаз они не видны.
tgz
15.08.2015 20:48Неблохо. А какова позиция руководства? Работать дают? Как принимаются решения, финансирование и вообще построено управление?
apple01
15.08.2015 23:38+1>VMware vSphere с более чем 100 рабочими виртуальными машинами
А что на них запущено или какую роль они выполняют?fcdm
15.08.2015 23:56+115 веб серверов, около 10 БД, различные серверы авторизации, около 10 севреров бухов, около 10 библиотечных ресурсов, 10 серверов для программ для обучения студентов и по мелочи всякие WSUS, NTP, Zabbix, ESET, терминальные и т.д
mrMendoza
16.08.2015 09:34А что с DR? Есть ли процедура? Критичность? Проводилось ли тестирование? Ну и просто интересно, сколько времени требуется на полное восстановление?
fcdm
16.08.2015 20:48Особенно критичных приложений у нас нет, да и виртуальная инфраструктура у нас одно из самых отказоустойчивых мест в ИТ-инфраструктуре. Просто у нас 15 летнее ядро и один гигабитный коммутатор для всего кластера, так что, по-моему, мнению о DR стоит задумываться если хотя бы будут решены базовые задачи отказоустойчивости и плюс решения по DR стоят определенных денег, а у нас пока гром не грянет, никто не будет креститься.
shtorman
16.08.2015 22:09Обычно это называется DRP (Disaster Recovery Plan) -это не просто какое-то заоблачное дорогое решение — это план действий на случай «Алес! Капут! Палундра! Вызовите скорую и пожарных!»
Причем отрепетированный план действий (с участием сотрудников, запасных частей, резервного оборудования и прочего).
Т.е. если начать планировать/составлять такой план вы поймете, что вам необходимо для восстановления (что резервировать, что взаимозаменяемо, где лучше хранить документацию и в каком виде и т.п.)
Это не значит, что через 15 минут все будет как было до аварии, план может учитывать поэтапное восстановление сервисов. Главное указано что, кто и как должен сделать, какие сервисы важные, что может подождать (в том числе и пока будет закуплена замена железу).
К слову полного DR у нас тоже нет, но репетиция отказа одной ноды кластера виртуализации раз в год проводиться.
И это, кстати, очень интересно и планирование и репетиция!fcdm
17.08.2015 00:11Есть некоторые, DRP, но они составлены исключительно IT-подразделением и действительны только для тех вещей где не требуются финансовые затраты, а бизнесу данный вопрос не особо интересен и, по их словам: «ИТ не является основной бизнес-единицей бюджетной организации. Рухнул сайт, не смогли граждане получить услугу через интернет, ничего, придут ножками, бумага то в организации движется, а значит работа идет, а значит все хорошо, а то что у вас что-то сломалось то это больше ваши проблемы». Просто трудно писать DRP, когда бизнес не знает своих бизнес-процессов…
А DRP с закупками, я составлять даже не собираюсь, так как новое руководство очень противится дорогим устройствам, например, хотят сейчас закупать неуправляемые D-Link на доступ взамен погоревших Цисок, но потом думают по-другому, а через неделю опять так же.
Крупные аварии обычно у нас раза два в год, например, полный blackout серверной (когда отказывают два кондиционера, и она встает по перегреву). Последний раз полное восстановление заняло около 24 минуты.
navion
17.08.2015 00:18А китайские железки пока не требуют покупать?
fcdm
17.08.2015 00:28Ну как… Сверху приказа нет, и мы не попадаем под какие-либо санкции США, но высшее руководство вуза само не прочь перевести всю сеть на «дешевый», по их мнению, Huawei и прочие китайские аналоги, не задумываясь о последствиях миграции.
Pinkkoff
16.08.2015 15:55Так как жесткие диски у нас 3ТБ (в СХД мало слотов под жесткие диски) мы используем RAID 10
Использовать SATA диски такого объема в RAID 10, конечно, очень плохая идея. SATA (NL-SAS) вообще не для производительности. Но я так понимаю, что на диски SAS 10k не выделяют деньги? Да и массив уже совсем старый, давно End of Sale и, если я не ошибаюсь, совсем скоро END of Support.
И не увидел информации о том, где хранятся бэкапы. Надеюсь, не на этой же СХД?
P.S. вообще опыт очень позитивный для дальнейшего роста, много технологий «потрогано» руками, будет на чем строить дальнейшую экспертизу=)fcdm
16.08.2015 20:51Да, как раз по этому и брали 3ТБ жесткие диски, даже пришлось вытащить некоторые 250ГБ диски, чтобы побольше места было и конечно же руководство хотело все подешевле и побольше.
К сожалению все бекапы так же кладутся на эту СХД, так как других мест нет.Pinkkoff
17.08.2015 12:20даже пришлось вытащить некоторые 250ГБ диски
Можно же просто купить дополнительную полку. У вас СХД на поддержке у вендора?
кладутся на эту СХД
К сожалению, несмотря на двухконтроллерность, иногда массивы оказываются недоступны совсем, полностью. И если нет поддержки у вендора — то надолго. В такой ситуации бывает нелишним отресториться куда-нибудь на другой носитель, любой, чтобы восстановить работу критичных сервисов.
Может получится рассказать это начальству и выбить хотя бы ленточку?fcdm
17.08.2015 13:03СХД не на поддержке у вендора. Ели выбили деньги на диски, я думаю если бы мы решили покупать полку, то мы бы ее до сих пор покупали.
Да, планировали ленту, но потом и на нее бюджет урезали, а класть бекапы на харды хостов не вижу смысла, так как они по 120GB.
VGusev2007
16.08.2015 20:20Очень хотелось бы увидеть статью с расценками… У вас большой бонус, что учреждение образовательное.
Но вообще: Veeam, VMvare, Win 8/10 (у вас поди vl версии), локальный AD, и всё прочее. — Очень не дёшего выглядит. Хочется понять: кол-во пользователей, цена. Спасибо!fcdm
16.08.2015 21:24Если брать лицензирование Windows, то самое дорогое в нем это CAL-лицензии (около 3к рублей), но я могу ошибаться, так как я не занимаюсь закупками. Windows Server и SC покупался бандлом «ECI Datacenter». Veeam например дает скидку около 20% сразу, а затем уже как с партнером договоримся. Антивирус тоже получается не очень дорогой, около 500р. за штуку. Количество закупаемых лицензий всегда разное, для каких то продуктов покупаем побольше, чтобы раздать пользователям, каких то поменьше. А количество пользователей сложный вопрос на который я сам не знаю ответ, но примерно около 1`500 стационарных ПК и 2`000 WLAN клиентов (вкл. студентов).
Aclz
16.08.2015 21:32Что-то путаете. Виндовые КАЛы стоят 1т.р. по ОЛП нолевел. 3к это, скорее, академические Remote Desktop CAL или MSSQL СAL.
fcdm
16.08.2015 21:47Возможно. Я просто помню мне про какие то наклейки рассказывали (похожие на OEM, но другие), что необходимо их приобретать, чтобы лицензия считалась действующей и они были одними из самых дорогих в закупке.
Aclz
По мне так лучше б описали конкретное выполнение конкретной задачи (любой). А то получился какой-то поверхностный отчет для начальства о проделанной работе (ну или резюме) в стиле «какие мы молодцы» и без какой бы то ни было конкретики.