Уважаемые хабражители! Так как это мой первый эксперимент по размещению контента на Хабре, прошу не судить слишком строго. Критика и предложения охотно принимается в ЛС.
Недавно, Google объявил о доступности нового дата-центра в Солт-Лейк Сити, в штате Юта. Это — один из наиболее современных ЦОД, в которые инвестировали такие компании, как Microsoft, Facebook, Apple, Yahoo, и другие, расположенных вдоль линии, соответствующей 41-ой параллели на территории США.
Каждая из этих компаний инвестирует миллиарды долларов в эти четыре города:
- Microsoft вложил 3.5 млрд. $ в один из крупнейших ЦОД в Де Мойне, штат Айова, а также 750 млн. $ в ЦОД, расположенный в городе Шайен, штат Вайоминг.
- Apple вложила 1.35 млрд. $ в современный дата-центр в Де Мойне.
- Google вкладывает 1 млрд. $ в дата-центр неподалеку от Омахи, штат Небраска, в дополнение к недавнему вложению в Солт-Лейк Сити.
- Национальный центр исследования атмосферы NCAR построил суперкомпьютер мощностью 1.5 петафлоп в Шайене, и это один из самых быстрых суперкомпьютеров мира.
- Агентство национальной безопасности США эксплуатирует громадное хранилище разведывательных данных в Солт-Лейк Сити, штат Юта.
Так что же делает 41-ую параллель настолько особенной, заставляя различные компании вкладывать миллиарды долларов, строя дата-центры в этих городах?
Ответ в том, что большая часть трафика, текущего с востока на запад США и обратно проходит сквозь каждое из этих мест посредством крупного собрания волоконно-оптических кабелей, принадлежащего большому количеству телеком-компаний, таких как: AT&T, Verizon, Comcast, Level 3, Zayo, Fibertech, Windstream и других.
Эта инфраструктура волоконно-оптических сетей предоставляет дата-центрам доступ к огромному количеству широких каналов, подстегивая цикл инвестирования — больше ЦОДов привлекают больше трафика, что, в свою очередь, приводит к постройке большего количества волоконно-оптических магистралей, что приводит, опять же, к постройке большего количества дата-центров.
Почему все эти телеком-гиганты выбрали место расположения своих магистралей по этому маршруту поперек США? Потому что каждый из этих кабелей пролегает под землей вдоль непрерывной полосы отчуждения шириной примерно 60 метров вдоль самой первой трансконтинентальной железной дороги, строительство которой было завершено в 1869 году. Правительство США выдало право на эту землю железной дороге концерна Union Pacific, подписав Акт о Тихоокеанской железной дороге 1862 года. И если вы — телекоммуникационная компания, желающая проложить новую оптическую магистраль через территорию США в 2019 году, вам нужно будет согласовывать ваш проект только с одной компанией — Union Pacific. Эта небольшая полоска земли полностью пересекает США, как видно на этом проекте железной дороги 1864 года:
Пример такого телеком-соседства — главный телепорт компании EchoStar в Шайенне, штат Вайоминг. EchoStar оперирует 25 геостационарными спутниками для вещания контента и фильмов. Они купили большой кусок земли рядом с полосой отчуждения Union Pacific, что позволило им подключиться прямо к трансконтинентальным оптическим кабелям, закопанным рядом с железной дорогой.
На картинке внизу можно четко видеть линию, разделяющую границы владения EchoStar, северная из них совпадает с границей полосы отчуждения Union Pacific.
Еще один пример такого соседства — дата-центры Microsoft и суперкомпьютерного центра NCAR в Вайоминге. Оба расположены в пределах километра от железной дороги Union Pacific:
А почему железная дорога была построена вдоль 41-ой параллели, из Айовы в Калифорнию?
С 1853 года, США проводили обследования для того, чтобы выяснить наилучший маршрут для новой железной дороги — вдоль 47-ой, 39-ой, 35-ой и 32-ой параллелей. В 1859 году военный министр США Джефферсон Дэвис решительно поддержал южный маршрут из Нового Орлеана в Сан-Диего — он был короче, по пути не было высоких гор, которые надо было бы преодолеть, и не было снегопадов, которые увеличили бы расходы на поддержание новой железной дороги. Но в 1850-ых годах ни один конгрессмен из северных штатов не проголосовал бы за южный маршрут, который помог бы рабовладельческой экономике Конфедерации, и никакой конгрессмен из южных штатов не проголосовал бы за северный маршрут. Эта патовая ситуация сохранялась до начала гражданской войны в США. Когда южные штаты вышли из союза в 1861 году, оставшиеся политики с севера быстро проголосовали в поддержку Акта о железных дорогах 1862 года, который закрепил место начала трансконтинентальной дороги в городе Каунсил-Блаффс, штат Айова, и ее маршрут — с запада на восток вдоль 41-ой параллели.
Почему именно Каунсил-Блаффс? Было много городов, желающих соревноваться за право получить эту привилегию. Но именно Каунсил-Блаффс был выбран, так как долина реки Плейт-Ривер строго на запад от города плавно поднималась к Скалистым горам, предлагая удобный источник воды для паровых локомотивов. Та же самая вода теперь используется для адиабатического охлаждения современных дата-центров вдоль этого маршрута.
После того, как строительство первой железной дороги было закончено, компания Western Union немедленно установила первый телекоммуникационный коридор в полосе отчуждения железной дороги, и в скором времени передавала все телеграммы с одного конца континента в другой. Позднее, когда AT&T построила междугородние телефонные линии в начале XX века, они так же были построены вдоль этой железной дороги. Эти магистрали разрастались и надстраивались, пока не превратились в громадное скопление магистралей связи, существующее в этой полосе земли сегодня.
Именно так политические решения, сделанные более 150 лет назад, сегодня предопределили место вложения многих миллиардов долларов в современные центры обработки данных.
samhuawey
Я правильно понял идею о том, что для того, чтобы положить интернет в США, достаточно перекопать ночью на тракторе пару десятков метров поперёк ЖД на 41 паралели? И если оперативно прикрыть песочком, то чинить будут недели две?
wild_one Автор
Ну, у нас тоже многое идет по магистралям ТТК. И периодически случаются… коллапсы разной степени важности.
Напоминаю, что вот этот мем появился именно в США (шутка на правах шутки):
samhuawey
У нас идёт многое, а у них (судя по статье) почти всё.
Наверное для этого крупные компании размещают резервные датацентры по обоим берегам Америки. На всякий пожарный.
Gansterito
По магистралям ТТК идет только трафик самого ТТК и присоединенных к нему операторов. У Ростелекома, Вымпелкома и Мегафона свои магистрали, с географически разнесенным резервом от РЖД не зависящие.
corvair
Backhoe fade.
zapimir
Смешно. Напомню, что интернет изначально создавался, как военная сеть, где трафик будет обходить другими путями, если какой-то из узлов вырубился. И типа эти люди вложили всё бабло в то, что можно перекопать одним трактором :)
Это только один из коридоров, там еще куча.
Типа такого
wild_one Автор
Так никто и не говорит, что коридор один. В статье описывается, почему один из самых крупных — пролегает именно по этому маршруту.
zapimir
Я вообще-то отвечал на коммент про одним трактором лишить америку интернета. По приведенной карте, видно, что таким образом максимум только пинг увеличится.
korobkov-k
Но ведь сильно возрастет нагрузка на те ноды сети, на которые раньше не было нагрузки. Так что про «положить интернет» от части может быть правдой, ибо что-то ляжет от нагрузки.
samhuawey
Автор статьи намекает что на этой ветке крупнейшие датацентры Гугл Микрософт и Apple. Соответственно Ажур, плеймаркет с почтой гугл, ну и фоточки айфонов полетят другими путями. В масштабах интернета конечно мелочь, но как бы не возник комбинаторный лавинообразный эффект когда отказ одного сегмента мгновенно перегружает соседний и тот тоже ложится и так далее.
KodyWiremane
На этой карте трактор понадобится в шести местах.
DarkTiger
Вы немного не представляете себе оперативность ремонтных служб и их возможностей по локализации места обрыва. В двух словах — не успеет никто. И хорошо, если попадет в тюрьму, а не под огонь спецподразделений.
Долболедизм случается, конечно. Вспоминаю службу в ПВО офицером связи в 90-е. Тогда встретились две яркие индивидуальности — один альтернативно-одаренный товарищ приказал проложить связной кабель по танковому полигону на метровой глубине (самый короткий путь был через полигон), а второй, коммерчески-одаренный и по совместительству — начальник полигона, продавал что-то ценное в земле с этого полигона, в итоге на эту кабельную линию просто забили, т.к. ее рвали экскаватором каждую неделю.
saboteur_kiev
Ну не нужно путать долбодятлов и умышленную диверсию. Во втором случае можно спокойно уйти.
0lom5zhdovdv
OTDR укажет на место обрыва с точностью до метра
Singaporian
На глубине 60 метров. Поэтому возможность саботажа сводится практически к нулю.
DreamingKitten
Можно подробнее? Это копали траншею такой глубины или там какой-то проходческий мини-комбайн применялся?
Singaporian
Я перепутал, кажется. Там в статье не «на глубине 60 метров», а «шириной 60 метров».
pal666
а дело задорнова живет
ledascho
История вызывает воспоминания об апокрифе (?) про ширину задницы древнеримской лошади…
wild_one Автор
Аналогично. Но в штатах же еще попробуй получить вот так запросто непрерывный кусок земли через всю страну, принадлежащий одной (!) компании.
cadmi
Есть относительно свежий фильм The Hummingbird Project, там для высокочастотной торговли тянут оптический кабель из Канзаса в Нью-Джерси. Масштабы сопутствующего геморроя с землеотводом неплохо показаны :)
dragonnur
По идее радиорелейка с регенерацией быстрей должна быть, за счёт того, что среда с более низкими мю и эпсилон?
khim
Более интересно почему там только «полоска земли», а не железка… То есть вроде как там и железка имеется в большинстве мест… но не везде. Что случилось? Двигаться через континент нужно же не только байтам…
flashmozzg
Летать дешевле.
pal666
автомобили случились
Get-Web
А его не запросто получили, есть сериал «Ад на колёсах», там как раз эта компания Union Pacific не хило боролась за это, как и многие другие компании
bodqhrohro
Тут и задницы тоже замешаны, полоса-то вдоль ЖД! Если бы не лошадиные задницы — могло бы быть не 60 метров, а 59 или 61, или проходила бы полоса чуть в другом месте, вместе с кабелями. А отсюда и нехилая разница в расстоянии между дата-центрами, и в расходах на кабель, соответственно. Плюс/минус метр оптоволокна, с тамошними-то пучками — внушительная сумма получается! А уж влияние разницы пинга в 3.33 наносекунды на Всемирную Сеть и представить страшно!
vassabi
… а потом эти же
redactedпишут про политику или социологию!Newbilius
И куда же смотрят хвалёные антимонопольные службы...?)
firedragon
Видимо в сторону ланчей с лоббистами.
enliven89
Вы это РЖД расскажите.
balexa
А где вы нашли нарушение антимонопольного законодательства? Если бы Union Pacific открыл свою дочернюю телеком компанию и пользуясь своим положением выдавливал бы с рынка Гугл, at&t и прочих — они бы сразу возбудились. Пока Union Pacific предоставляет равный доступ всем по единым расценкам — никакой проблемы монополизации нет.
Xandrmoro
А какое отношение они к этому имеют?
Legartak
Автор перевода молодец. Интересно было б узнать о чём-то подобном, но на территории Европы. Есть ли подобного рода ещё статьи?
iscander_s
Очень интересная история. Было-бы любопытно почитать и про наши Российские оптоволоконные магистрали, с ними тоже много чего в тумане.
Tyrauriel
Очень старый баян.
Карта магистралей Ростелекома валялется в интернете.
Тэг «teacable» или «teaproject»
fndrey357
Блин, а ракетчики то не знают…
На хабре была статья.
«Кровеносная система мирового интернета»
А вообще, судя по тому, что читал — у нас основные трассы идут вдоль РЖД — там и транспорт с людьми есть и лучше по откосу, чем в чистой тайге.
ProstoTyoma
Раньше строили города вдоль рек. Теперь data-города вдоль data-рек )
OnelaW
500-mile email?
Whuthering
Если кто не знает эту замечательную историю:
rauf.livejournal.com/23552.html
DreamingKitten
Которая, по большей части, художественное преувеличение.
www.ibiblio.org/harris/500milemail-faq.html
khim
Примерно такое же преувеличение, как любая история, рассказанная в суде под присягой о событиях, случившихся лет 10 назад.
Вы не поверите — насколько сложно восстановить точные детали чего-то, что изначально не записывалось на видеокамеру, не подшивалось в архив сразу после произошедшего и так далее.
Человеческая память — штука черезвычайно ненадёжная. Это, условно говоря, «аналоговый DRAM» (когда вы что-то вспоминаете, вы, тем самым, воспоминания стираете, а на их место помещаются, условно, «воспоминания о воспоминаниях»).
Так что я думаю история рассказана настолько правдиво, насколько автор смог это сделать…
DreamingKitten
Надеюсь, вы прочитали текст по ссылке, которую я привёл, перед тем как ответить.
khim
Прочитал, да. Из вещей, которые точно неправда — только 3 миллисекунды и 500 миль.
То есть ровно то место, которое с точностью до третьего знака после запятой вы не запомните и которое, если вы захотите историю рассказать через десять лет, придётся рассчитывать заново — возможно с ошибками.
DreamingKitten
Наоборот, когда я читал эту историю впервые в начале 2000-х, всё остальное выглядело хоть и с натяжкой, но примерно правдоподобно, а вот именно на этом месте про 3 миллисекунды я понял (даже без расчётов), что автор, мягко говоря, безбожно врёт. Именно потому, что задержки на коммутаторах, даже на самых продвинутых для того времени, были таковы, что эти несчастные 3 миллисекунды потерялись бы на их фоне как стат. погрешность.
khim
А проверить? Нэ? Ну мы же на Хабре, на техническом, блин, ресурсе. Вот статья примерно как раз тех годов (там даже Ultra 1 примерно такая, как в этой байке, фигурирует). Согласно матмодели свитчи дают задержку в 15?s, паршивенькие карточки в самой железке — 100?s-170?s… А 500 миль кабеля (как он потом в FAQ же уточняет) — это как минимум 5368?s (скрость света + туда/обратно… но на самом деле, из-за физических свойств кабеля, даже чуть больше).
Так что… если мы говорим о расстояниях в сотни и тысячи миль, то задержками на коммутаторах в первом приближении действительно можно пренебречь. Они начинают на что-то влиять только если свитчи перегружены.
Вот в локалке, с расстояними в сотни метров — там да, соотношения другие.
Ваша ошибка в том, что вы «бытовые» понятия перенесли в компьютер. Свет, с бытовой точки зрения, распространяется мгновенно. Однако если речь идёт о компьютерах — то это ни разу не так. Именно скорость света ограничивает размеры Ethernet-сегмента, WiFi-сегмента и так далее! То есть «с точки зрения компьютера» свет — это вот нифига на «мгновенно», это очень даже небыстро… если речь идёт о географически значимых расстояниях… а на частотах в гигагерцы — и того хлеще: если у вас процессор работает, скажем на, на частоте в 1GHz (и бывают и быстрее… сильно быстрее), то за один «тик» свет проходит всго лишь какие-то жалкие 30 сантиметров!
P.S. На самом деле я как раз начал считать и думать, когда эту историю прочитал, как раз без чтения FAQ. Почему у нас 0s вообще могут «зачесться» как 3ms или 5ms или вообще как какое-нибудь ненулевое число? Дык эта! Jiffies! Вспомните про three way handshake. Скорее всего в SunOS дизайн был такой, что SYN отсылался в один «тик», а уже ACK мог обрабатываться только в следуюший. Если Jiffies в SunOS были похожими на то, что было в Linux и Windows (10ms в Linux, 10-15ms в Windows), то как раз и получаем время на путешествие в 500 миль — с учётом NIC, свитчей и роутеров.
Sergery8205
Спасибо! Познавательная статья. Есть ли нечто аналогичное в Европе или Азии?!
khim
Даже в России где «свободных» площадей хватает очень много оптики вдоль «железки». Это просто удобно: удобно в случае чего добираться и чинить.
А вот такого, чтобы «железка» строго по какому-то определённому градусу шла… Это только в США, скорее всего…
igrushkin
больше всего удивило, что Union Pacific еще жива и успешно торгует своей привилегией
hard_sign
41 параллель! Это ж жара какая. У России 41 градус северной широты – это как раз самая южная точка :)