Доброго времени суток, дамы и господа.
Есть тут на Хабре одна компания, которая имеет свой блог и отчаянно пиарится как "Лоукост VDS хостинг в России".
Я ничего не имею против лоукоста и сразу же оплатил у них сервер. Первое время сервис был на достаточно хорошем уровне, кроме нескольких факапов со скидками, которые тут же и рекламировались. Но все эти проблемы достаточно быстро решались через ТП или комментарии на Хабре.
Но сегодняшняя ситуация перечеркнула все плюсы.
В обед я заметил тормоза своих сайтов, обратившись в техподдержку, я получил ответ, что был небольшой DDoS и сейчас проблема решена. И действительно, проблема была решена и сайты забегали по IPv4. Но весь фокус в том, что в DNS был прописан и IPv6. К почте он был привязан так же, как и к сайтам. И вот он отвалился чуть более чем полностью.
Что обычно делают все нормальные люди? Пишут в техподдержку. Что я и сделал.
Ответ меня не то что поразил. Ответ убил на повал:
За 15 лет работы со всякими датацентрами и хостингами я не припомню ситуации, чтоб хостер просил рутовый доступ к моему серверу. В принципе, все и так понимают, что хостер имеет доступ к файловой системе сервера, при необходимости. Но чтоб вот так в наглую.
Я думал, что на этом все и закончится. Напишут список команд, я выдам им результат и все. Но нет. Следующий комментарий от ТП был более настойчивым и все так же продолжали требовать рутовый доступ.
Не буду пересказывать всю переписку. Это лишено смысла и пост не является жалобой как таковой, а всего лишь предостережением.
В общем, если кто-то из хабровчан пользуется услугами этого чудо-хостера и испытывает проблемы с IPv6, то проблема решается одной командой:
ping6 -I <ваш_ipv6_адрес> 2a02:6b8::feed:0ffПосле этого все начинает работать.
Как вы, наверное, уже догадались эта команда пришла не от техподдержки, а от моего товарища, который боролся с ТП за три дня до этого в течение двух суток. В результате, у него сегодня ситуация повторилась и это помогло.
Вероятнее всего есть проблемы с AntiDDoS оборудованием, которое широко рекламировалось в твиттере. Но кто же у нас признает проблемы и компенсирует простой? Вопрос риторический.
Комментарии (71)
wilyrussian
27.07.2016 21:26Хотелось бы услышать комментарии от Van_Loon и самого хостера, т.к. мы собирались на него перевести часть сервисов.
Van_Loon
28.07.2016 00:09+1Официальный ответ от меня ( =хостера ) читайте здесь: https://habrahabr.ru/post/306570/#comment_9719282
taulatin_one
27.07.2016 21:29+1Вы коллега исказили классику:
«Может быть, тебе дать еще ключ от квартиры, где деньги лежат?»
ikormachev
27.07.2016 21:31+20Данный пост скорее характеризует его автора, нежели говорит что-то о хостере.
dmitriylyalyuev
27.07.2016 21:37-13Т.е. вы считаете нормальным, когда ТП просит рутовый доступ к вашему серверу?
ikormachev
27.07.2016 21:58+27Я крайне предвзято отношусь к мнению людей, которые сначала покупают самые дешевые услуги, а при первых проблемах с подобным поставщиком истерят и требуют компенсации простоя. Но более того, я с отвращением отношусь к «зазвездившимся» «техническим специалистам», склонным грубить сотрудникам техподдержки. У меня все.
Kalashmatik
27.07.2016 22:03+4Вообще-то да, запрос пароля техподдежкой это нормально, но как правило просят не сам пароль а доступ, например инсталлировав их SSH ключ и разрешив доступ с определенного IP, но иногда и без пароля им никак, тот же пример поддержка Cpanel, там если проблема на сервере, то ТП попросит доступа в систему без вариантов. Ну и по теме того что это VPS и якобы к ней легко сделать доступа хостеру — все зависит от технологии и её конкретной реализации, если у них какой-нибудь OpenVZ, то конечно доступ там совсем не проблема, а если это контейнеры KVM, то совсем не факт, что у ТП есть такая возможность, поэтому собственно я не вижу проблемы именно в запросе административного доступа.
equand
28.07.2016 02:36Неважно какой контейнер, доступ у хостера полный, в том числе к памяти и шифрованию. Доверие обязательно.
Всегда расстраивают люди с важными сайтами, которые берут шаред или вдс у хостера с 3 недели в интернете. Это самому напрашиваться на полный взлом.
Van_Loon
28.07.2016 00:08+2Прочитайте мой комент https://habrahabr.ru/post/306570/#comment_9719282 и Вы поймете, почему мы так делаем.
symbix
27.07.2016 21:42+2По сравнению с нетрадиционно клиентоориентированой другой компанией, которая с единичкой, у этих еще неплохо. С ддосами вот только пока справляться не научились, что все портит.
Van_Loon
28.07.2016 00:05Борьба с DDoS-ами задача не простая, Особенно при наших текущий объемах трафика и количестве клиентов (одного известного анти-ддосера даже дико пошатало, когда мы просто попробовали взять у них защиту, а это люди, которые не первый год занимаются данным вопросом).
Но мы движемся в направлении решения данной задачи.
Sanes
27.07.2016 21:42-1Буквально на днях брал тест. Поддержка повеселила.
Sanes
27.07.2016 21:48-2Пинг скакал от 40 мс. до 500+ мс. При том картина одинаковая с Юга и Сибири. Ответ поддержки: сделайте обратный пинг и поставьте какую-то программу для анализа сети.
Van_Loon
28.07.2016 00:02Можете сообщить номер тикета в ТП, посмотрю, что за проблема была? Для анализа работы сети мы советуем использовать mtr, и эта информация с Вашей стороны действительно помогает выявить проблемные места в передачи трафика через Интернет. Довольно часто возникают проблемы у транзитных провайдеров и информация собранная с помощью mtr, позволяет нашим сетевикам понять, с кем из операторов связи надо связаться для устранения проблемы.
Sanes
28.07.2016 00:07+1Я допускаю, что проблема может быть на моей стороне. Поэтому тестировал из разных регионов. Сейчас время теста уже закончилось. Учитывая, что тикет за 2 дня не смог добраться до второй линии, уже нет желания продолжать разбираться.
Van_Loon
28.07.2016 00:26+3И все таки, я бы попросил, сообщить Вас мне номер тикета или хотя бы логин в приват, чтобы я мог разобраться почему тикет гулял двое суток и Вам не смогли предоставить вменяемый ответ, моя задача реагировать на любые жалобы в работе ТП, проверять их и оптимизировать их работу, чтобы подобных проблем не возникало в будущем.
Skar404
27.07.2016 22:11+1Вообще имхо, но не вижу в этом не чего ужасного, арестовывал сервера у hetzner.com и VPS у digitalocean.com и были случаи когда предоставлял root, хотя обычно через специальную форму, а не просто в текит пароль сбрасывал.
Хотя хотелось бы увидеть всю переписку, а то складывается впечатления что они силой пытались доступ получить.Tomas_Torquemada
29.07.2016 13:40>>арестовывал
Одна маленькая опечатка — а совершенно другой смысл фразе придала :)
gangstarcj
27.07.2016 23:41Я не знаю с какими хостерами ты работал.
Но я работал со многими и вполне нормально когда ТП просит у тебя рут доступ, дабы избавить тебя от лишнего гемора. Всегда даю без проблем, потом меняю его
Gitkan
27.07.2016 23:41+3Ну это ещё не дно, у одного моего VPS-хостера переписка с техподдержкой защищена соглашением о неразглашении, так что скринышоты просто так не поснимаешь…
Van_Loon
27.07.2016 23:58+10Приветствую всех, отвечу по порядку:
1. Поскольку достаточно большое количество наших пользователей не являются продвинутыми админами (а именно они чаще всего пишут тикеты), то практика предоставления рутового доступа к VDS вполне оправдана. Во-первых, тем самым пользователь санкционирует доступ к своим данным наших сотрудников (в отличие от того, если мы сами полезем доступными нам методами). Во-вторых, никто не требует его предоставлять силой. Это право клиента давать доступ нашим сотрудникам или не давать. Опять же, если клиент не хочет разглашать свой любимый пароль, можно: а) поменять на временный пароль; б) создать альяс рута (произвольный пользователь с uid:gid=0:0) и предоставить его; в) создать обычного юзера и дать ему права через sudo. Любой профессиональный админ должен знать о таких способах. Данная практика была выработана на основе общей статистики работы тех. поддержки и позволяет сократить количество итераций и время обработки тикетов. Исправили проблему — меняйте пароль и работайте дальше.
Поверьте, нашей поддержке вот ни разу не интересно, что находится внутри Вашей VDS, у нас их уже 8000 шт. и никто не будет копаться в Ваших данных. При ежемесячном количестве обращений в ТП, которое уже составляет порядка 10к тикетов, у ребят на это нет ни времени, ни сил, не желания. К тому же, они также несут ответственность за разглашение информации, это прописано в трудовых договорах.
2. IPv6 — еще достаточно сырой протокол и даже в топовых провайдерских железках еще очень много багов в его реализации или отсутствия реализации некоторых функций, которые приводят к подобным багам. Как это ни странно, проблема залипания IPv6 — адреса, действительно лечится указанным Вами способом. Первая линия ТП просто не знала о такой особенности, по этому пошла по стандартному регламенту с предоставлением доступа к VDS (поверьте, в 95% случаев предоставление доступа действительно помогает решить проблему клиента или как минимум ускорить ее решение). Вам достаточно было просто написать «Я знаю, что проблема не внутри моей VDS, доступ дать не могу, передайте тикет сетевому инженеру».
3. В виду возникновения такой проблемы, мы обязательно проинструктируем первую линию ТП о способе ее решения. Если первая линия знает решения какого либо вопроса, то она просто дает инструкцию и не просит ни каких доступов.
4. Huawei находится на стадии тестирования и официально мы его пока не анонсировали. Новости в Твиттере и других соц. сетях по поводу его установки лишь отражают то, чем мы занимаемся в настоящий момент, над какими проектами работаем. В том же Твиттере, например, проскакивала и фотография Radware, которая также была на нашем тестовом стенде и сейчас мы ждем, более мощную железку, чтобы можно было ее испытать в нашей сети. Когда мы полностью внедрим свое анти-DDoS решение, будет официальный анонс и статья о наших приключения здесь на Хабре.
Если данная стандартная просьба задела какие либо Ваши чувства, то приношу за это свои извинения от лица компании и от себя лично.
ky0
28.07.2016 00:03Да не переживайте, всё вы правильно сказали. Это вполне логично — делать для ТП хостера юзера с sudo и т. п. для экстренного доступа, даже если у вас не VPS, а дедик — случаи бывают разные.
Van_Loon
28.07.2016 00:20+2Да я не переживаю ), просто хочется, что было понимание, как у автора поста, так и у других хабровчан, что это не просто блажь сотрудника ТП, а нормальная устоявшаяся практика призванная оптимизировать работу, в которой нет ничего криминального. В конце концов, все мы приезжая в автосервис отдаем ключи от машины сотруднику этого самого автосервиса и не переживаем, на счет того — «а вдруг он будет кататься на моей машине?!!!».
TimKGS
28.07.2016 00:37Спасибо за прояснение ситуации с ipv6. Что делать с сервисами ipv6-only, правда, неясно. Скорее всего писать скрипт с проверкой доступности и пингованием.
Van_Loon
28.07.2016 00:54+1Мы общаемся ведем переговоры с вендорами оборудования, по устранению данной проблемы. Думаю, что со временем она будет решена.
TimKGS
28.07.2016 00:38Главное, чтобы полиция ключи от квартиры не просила, когда у меня явная карманная кража…
Van_Loon
28.07.2016 00:57Если рассуждать логически, то если выскажете просто «у меня кража», то полиция вполне может попросить Вас пустить ее в квартиру для обследования место преступления. А если четко укажете, что украли из кармана в таком-то месте, тогда не будет ).
mantyr
28.07.2016 01:03-7Это не блаж и не устоявшаяся практика — это что-то из ряда вон выходящее. Вы либо системно решаете задачу, либо пляшите с root-доступами которые как бы ни о чём вообще. Исключительно своё собственное мнение.
К примеру есть сервис с админами itsumma — им тоже нужны пароли, но что бы попасть на сервер используют:
а) флешку с токеном
б) файл ключа (или пароль, точно уже не помню)
в) доступ только через сервис самой компании, никаких коннектов напрямую
Но суть в том что никто, никому, никогда, не должен передавать никакие пароли совсем. Ни от банка, ни от хостинга, ни от домена. А то что у вас — это детский сад.
mgremlin
28.07.2016 20:52Вероятность того, что сотрудники автосервиса установят на вашу машину троян, равна нулю. А вот с vds — такой уверенности уже быть не может.
Я не ваш клиент, хотя и присматриваюсь.
И да, за почти 20 лет моего общения с серверами (начало еще на aha.ru в прошлом веке) рут-пароль у меня не спрашивал никто и ни разу. Вряд ли я бы стал так нервничать, как топикстартер, но что это меня бы шокировало — безусловно.Van_Loon
28.07.2016 22:58Вероятно, вы хороший специалист и не обращаетесь в ТП по каждому чиху VDS-ки. В прошлом веке, подобные вещи были уделом избранных, а сейчас, каждый первый хочет себе вдс и что-нибудь там настроить, при этом сами толком не знают, что и как.
Яркий пример, именно такого отношения к серверам, можно почитать в нашей ветке на серчах, как раз сегодня там состоялся диалог с одним пользователем.
Как раз именно такие, неопытные пользователи, чаще всего пишут в ТП. Вот, чтобы помочь им, нам и нужен рутовый доступ.
А ставить троян на VDS, ну это как если сотрудник сервиса увидит в Вашей машине хорошую деталь и под видом ремонта поставит вместо-нее б/у-шную. Опять же — вопрос доверия как автосервису, так и хостеру.
Я писал выше. технически — хостеру не нужны доступы и если кому-то сильно припрет поставить Вам троян, то поставят. А В нашем случае, вы хотя бы знаете, что у нас будет временный доступ в Ваш VDS для диагностики проблемы. Никто Вам не мешает в момент работы наших специалистов залогировать вводимые команды или даже смотреть их в онлайне (например, с помощью tail).
Опять же, никто не мешает отказать в доступе.
Ну и вопрос, это насколько же хостер не должен уважать себя, чтобы пихать клиентам троянов?
Любой серьезный бизнес — это прежде всего репутация. Особенно в такой высококонкурентной отрасли, как хостинг.
dmitriylyalyuev
28.07.2016 09:16-2Спасибо за развернутый ответ. Тезисно отвечу на ваши пункты, если позволите.
1. Предоставление рутового доступа к любому серверу — это риск. Я не склонен доверять первой линии ТП и считаю это оправданным. На сколько я понимаю, то вы не предоставляете услугу Managed VDS. А если так, то и доступ к серверу лишен смысла. Более того. Зачем предоставлять доуступ, если проблема не в сервере. Все работало и вдруг перестало. Если я там ничего не крутил, то это явно проблема с вашей стороны. Опять же, если я отказал в предоставлении доступа — не надо его настойчиво требовать. Можно написать команды и результат я с удовольствием предоставлю, ибо это в моих же интересах. Т.е. первая линия повела себя абсолютно неадекватно.
2. Если первая линия не знала о таком варианте лечения проблемы, то как же тогда построена коммуникация внутри ТП, если такая проблема решалась у моего товарища три дня назад? Почему я, как клиент, должен знать куда надо передавать проблему? Мне кажется логичным, что первая линия ТП это должна знать, а не я.
3. Логичное действие, но, как мне кажется, это не решение проблемы, а костыль. Фактически вы предлагаете мне написать скрипт, который будет пингать внешние хосты и если все упало, то пингать вашу AntiDDoS'ку? Странное решение.
4. Извинения приняты. Но хотелось бы не извинений, а решения проблемы с IPv6.
Еще раз спасибо за столь развернутый комментарий.Van_Loon
28.07.2016 19:321. Не спорю, что это риск, но Вы должны понимать, что технически, у каждого хостера и так есть доступ ко всем Вашим файлам, даже без пароля. По этому, размещая какие либо данные у хостера, вы проявляете к нему доверие. И просьба в получении доступа к серверу лишь жест хорошего тона со стороны хостера. Это все равно как если Вы сняли номер в гостинице и Вам дали ключ от номера. Ежу понятно, что у персонала гостиницы всегда есть доступ в Ваш номер, но без Вашего разрешения туда никто не войдет, достаточно повесить табличку «Don't distrub». В противном случае репутация гостиницы будет стремиться к нулю.
Что касается Managed VDS, полное администрирование в цену не входит, однако, мы стараемся оказывать клиентам помощь в решение вопросов внутри самих VDS, даже если это и не связано на прямую с работоспособностью самого контейнера. По этому просьба предоставить доступ является обычной практикой в работе ТП, не только нашей, но и у других хостеров.
2. Проблема была неявной первая линия еще не была проинформирована о ее наличии. Сейчас всех уведомили способах ее решения.
3. и 4. Это вопрос, скорее к вендорам оборудования, а не к нам, мы им уже переслали свои замечания. Как Вы понимаете, у нас нет исходных кодов операционок маршрутизаторов и сами, мы исправить данную проблему не сможем. Я писал выше, та же проблема с IPv6 есть и в реализации данного стека у Juniper и даже без Huawei, проблема периодически возникала.
Естественно, мы продолжаем самостоятельно искать варианты ее решения. Возможно, для решения этой проблемы будет добавлен еще один маршрутизатор, в котором отсутствует данный баг.dmitriylyalyuev
28.07.2016 21:31Могу лишь пожелать Вам удачи и поблагодарить за сотрудничество.
А к вопросу о скорости реакции на тиккеты — номер 1000430, время ожидания на жанный момент 3 часа 30 минут.
И это на просьбу об удалении активного сервера и возврате остатка средств.
Кстати, невозможность удалить активный сервер немного напрягает.Van_Loon
28.07.2016 22:18Финансовый отдел заканчивает работу в 6 вечера по Москве. Завтра сделают перерасчет.
dmitriylyalyuev
28.07.2016 22:20Спасибо, но было бы не плохо, если бы ТП в тиккете отвечала так же, как Вы на Хабре. :)
Van_Loon
28.07.2016 22:38За последние полгода мы существенно улучшили качество и скорость работы ТП. Но есть еще над чем работать. Выстраивание такой организации на фоне всеобщего кризиса — задача не простая. Но мы движемся вперед ). В ближайших планах уже стоит организация регулярных экзаменов для сотрудников ТП на знание материала.
mark_slepkov
29.07.2016 10:26> достаточно большое количество наших пользователей не являются продвинутыми админами
…
>… любой профессиональный админ должен знать о таких способах.
Хм. Нестыковочка.Van_Loon
29.07.2016 21:48В чем именно?
У неопытных пользователей и вопроса не возникает, часто они сами уже в тикет пишут доступ к VDS, если им надо в чем-то помочь.
А вторая фраза, это скорее обращение к ТСу.
Skar404
29.07.2016 23:27Хотел бы уточнить одну вещь, пароль от root предоставляется через специальную форму и вообще логируется что данному сотруднику был предоставлен root доступ от сервера?
Van_Loon
29.07.2016 23:56Пароль предоставляется в тикете, специальной формы у нас пока нет. Все действия сотрудников работающих с тикетом логируются.
Skar404
30.07.2016 00:18имхо, но мне кажется что это огромная недоработка, пароль который был отправлен в тикете это как ключ под половиком, допустим поменялся сотрудник в ТП и ему присылают историю переписки с паролем или при получении доступа к тикету злоумышленник может получить доступ к серверу, а при этом уязвимость может быть в вашей системе, а не просто взлом аккаунта.
Под логированием я имел в виду то что система понимает что пользователь предоставил сотруднику пароль.
Я не претендую хотя бы на любительское мнение в области информационной безопасности, но мне кажется что пароль(желательно ключ) от сервера должен предоставляется только сотруднику который с этим сервером будет работать и не кому больше.Tomas_Torquemada
30.07.2016 08:10>>>и ему присылают историю переписки с паролем или при получении доступа к тикету
Т.е. Вы пароли годами не меняете?
Тут в комментариях уже сказано было — после отработки тикета меняете пароль.Skar404
30.07.2016 09:28Всегда предоставляю отдельного пользователя специально для ТП, да и зачем сразу годами не меняю?
Самое важное то что пароль во время обработки тикета актуальный(иногда тикет активен около 3 дней), и как отследит кто получил доступ к серверу если с тикетом работало 5 человек и опять же повторюсь, взлом базы с тикетами и актуальные пароли уже у злоумышленника из активных на данный момент тикетов, когда если бы пароль предоставлялся только человеку который с этим сервером работает ответственность была только на этом человеке (и компании) и в случаи взлома злоумышленник не смог бы получить доступ к серверам.
UksusoFF
28.07.2016 08:33Van_Loon у вас как-то странно работают приоритеты у ТП. Когда выбирал обычный — отвечали в течении 5 минут, последний раз выбрал срочно — так ответили спустя много часов.
Alex_333
28.07.2016 10:31+2Видимо из-за того, что все выбирают «срочно». И этих «срочно» гораздо больше, чем «обычно» и ТП реагирует соотвественно.
Van_Loon
28.07.2016 17:55Если вы сообщите мне номер проблемного тикета, то я смогу понять причину зависания его у ТП и постараться устранить подобное зависание в будущем.
antonbatenev
28.07.2016 22:21#133160
2016-05-26 07:19:04, «Ваш запрос перенаправлен в ответственный отдел технической поддержки.»
2016-07-13 12:26:29 (чуть-чуть не дотянули до 2-х месяцев между ответами), «Пароль на ssh root?»Van_Loon
28.07.2016 22:31Правильный номер тикета 931249.
Последнее время, из-за сильной нагрузки на сетевых админов, были проблемы со скоростью ответа на тикеты связанные с работой сети.
Сейчас проблема уже решена путем найма новых специалистов в этот отдел.
AlexeevEugene
28.07.2016 09:47+5Прочитав статью и каменты, понял, что это неплохой хостинг :)
Sanes
28.07.2016 09:51Бардак в ТП, как правило у всех крупных хостеров примерно на одном уровне. Тем более в low сегменте.
amarao
28.07.2016 14:40Насколько я понимаю что там происходит — они агрессивно фильтруют мультикаст (на котором весь ipv6 держится), так что маршрутизатор не может определить что узел в онайлне. Отправка пинга через link-local приводит к обновлению таблицы «соседей» на маршрутизаторе и он начинает «знать» на какой mac отправлять трафик.
Van_Loon
28.07.2016 17:52Вы правы, мультикаст действительно фильтруем, если этого не делать, то все VDS получали бы огромную массу флуда из-за того, что в одном сегменте сети находится большое количество хостов. По началу у нас так и было, и были жалобы от клиентов что много лишнего прилетает по сети на VDS. Сейчас, VDS по L2 видит только гейт, по этому в эфире тишина, однако в реализации IPv6 на текущем сетевом железе имеются недоработки которые приводят к залипанию IPv6-адресов. Сегодня, сетевые инженеры сделали ряд настроек, которые должны снизить вероятность возникновения данного эффекта.
rhamdeew
03.08.2016 11:47Как миниму еще несколько крупных хостеров при обращении в ТП запрашивают рут-доступ через отдельное поле в тикете. Не вижу в этом ничего криминального т.к. после решения пробелмы можно сменить пароль. В случаях же когда пароль не нужен, а тикет с пустым полем не отправляется пишу туда «не нужно».
Лично меня больше возмущает ситуация когда на свежесозданном виртуальном сервере в authorized_keys лежат публичные ключи саппорта. Захожу и вручную удаляю их прописывая взамен свои.
Naymen
Чтобы IPv6 заработал, нужно просто сделать пинг и для AntiDDoS оборудования значит что сервер живой и можно отправлять на него трафик?
dmitriylyalyuev
Видимо да. Я не могу точно сказать, что там происзодит, но на мой взгляд, такого точно быть не должно.
Van_Loon
Есть недоработки в магистральном оборудовании (Не только Huawei, такая же проблема есть и у Juniper при работе с IPv6), которые приводят к такому глюку. Как я написал в моем комменте, реализация IPv6 еще весьма сыра в некоторых местах.
equand
Насколько я знаю это проблема блокирования icmp6. Такое встречалось на FreeBSD 8, блокируем icmp6 все кроме дозволенного v6 и в итоге почему-то приходилось пинговать гетевей. Убрали фильтр в6 и проблема решилась.
Легко увидеть tcpdump на бсд и monitor traffic на жуне.
Глюков в6 в бсд 8 много (например невозможность параллельной работы статической и SLAAC на одной системе, обходили мануально, отсутствие SLAAC to SLAAC)
TimKGS
Просто пинг ничего не решил ни извне, ни с сервера.
Мне помогла только указанная автором комбинация с -I и 2a02:6b8::feed:0ff