В Microsoft поручили Тому Барклаю поместить всю планету в базы данных внутри компьютера Compaq. Вместить тысячи километров нашей планеты всего на 100 м2 — это было чудом.
Планировалось, что TerraServer станет залогом лидерства компании Microsoft среди интернет-компаний в 21 веке. Это была самая первая общедоступная интерактивная спутниковая карта мира и первая SQL база данных земли размером в несколько терабайт. Фактически — это была самая большая база данных в мире за несколько лет и Compaq считался самым большим компьютером в мире. TerraServer являлся функциональным и популярным предшественником Google Earth, который позволял увидеть Ваш дом из космоса. Он работал задолго до того, как в Google задумались о подобной концепции.
Так почему же мы не используем TerraServer сейчас на своих смартфонах?
Вероятно, по той же причине почему Microsoft проиграл соревнования Google за лидерство в сфере поисковых ресурсов, электронной почты, браузерах и других потребительских сервисах. Корпорацию Microsoft особо не заботило удобство пользователей при использовании TerraServer. Их также не заботило огромное количество данных о пользователях, которые оставались после использования сервиса.
Со слов Томи Барклая:
Это было сделана для того, чтобы показать, что наше программное обеспечение способно на такое. Но компания абсолютно не заботилась о собранной информации. Google изначально был информационной компанией, осознавающей ценность информации.
Изначальный план состоял лишь в том, чтобы создать базу данных. Корпорацию не волновало, что там будет содержатся, она просто хотела быть огромной. Для чего? База данных должна была стать самой большой в мире, чтобы проверить масштабируемость СУБД SQL Microsoft.
База данных производит постоянное резервное копирование на автоматизированный ленточный модуль StorageTek 9710 TimberWolf, использующий резервное копирование SQL, интегрированное с сетью Legato. В режиме онлайн процесс резервного копирования использует 20% ресурсов CPU и занимает приблизительно 8,5 часов, включая время на внесение изменений в ленту.
Как сказал Барклай:
Нас попросили поработать над очень большой базой данных, протестировать базы данных следующего поколения.
Оказалось, что найти интересный и реальный терабайт данных, который можно было бы свободно использовать и законно распространять, было весьма сложно. Согласно статье USA Today от 22 июня 1998 года, первоначальная задача для TerraServer состояла в том, чтобы перечислить каждую транзакцию в истории Нью-Йоркской фондовой биржи и сделать доступной для поиска онлайн. Но в итоге объем базы данных вышел всего 500 ГБ, чего было недостаточно. Microsoft требовала большего. В 1997 году Геологическая служба США проводила загрузку своих полутоновых (черно-белых) спутниковых фотографий и других воздушных изображений из своего архива в сеть Интернет. Хеди Россмейсл из геологической службы США встретилась со знаменитым программистом Microsoft Джимом Грэем, они начинали обдумывать возможность объединения проектов в один. Ведь размещать спутниковые изображения в сети Интернет, чтобы они находились в открытом онлайн доступе в любое время и в любом месте — было делом не только интересным, но и полезным.
Время было более-менее подходящим. Холодная война закончилась, что позволило рассекретить фотографии, сделаные спутниками шпионов. Никто в мире не опасался терроризма (до трагедии 11 сентября), все больше людей открывало для себя преимущества использования сети Интернет.
Со слов Россмейсл:
У нас имелись изображения в цифровом формате половины стран на планете Земля. Также у нас была возможность предоставлять снимки людям, но не быстрым и удобным способом.
Изображения, наряду с некоторыми рассекреченными военными фотографиями России, составили чуть более 2,3 терабайта. Грэй назначил Барклая (которого Россмейсл называла «мозгом проекта») ответственным за разработку и он приступил к кодированию. TerraServer был его первым веб-сайтом, который он когда-либо делал. Это был его первый проект, который имел хоть какое-то отношение к картографии. Но задача оказалась довольно сложной, Барклай очень быстро столкнулся с основной проблемой картографии. Перенос округлой поверхности земли на плоский монитор стал для него настоящей головной болью.
Он решил, что использование стандартной проекции Меркатора — это не то решение, которое стоит использовать. Такая проекция искажает размер континентальных массивов, поскольку перемещения будут происходить не только вдоль экватора, но так же на юг и на сервер. Проекция Меркатора особенна тем, что не искажает углы и формы, расстояние сохраняется только на экваторе. По сей день такая проекция используется для составления морских навигационных и аэронавигационных карт.
После неудачного тестирования различных способов, Барклай выдвинул идею создания «мозаичных» изображений, способных генерироваться в зависимости от выбранной части карты. В основном изображения, полученные компанией Microsoft от Геологической службы США, были соединены вместе, но затем порезаны на более мелкие квадраты и повторно отцентрованные при команде.
Как говорил Барклай:
У нас не вышло сделать это с первого раза. На презентации первой демо-версии дом Билла Гейтса оказался разделен на две части, что было не очень хорошо. Мы доработали поступательное развертывание карты. Это позволяло людям центрировать любой желаемый участок. Также реализовали возможность увеличения и уменьшения масштаба.
Нововведение оказались революционным, стратегия «Мозаики» стала основой для Google Earth и Google Maps. Удивительно насколько подобны современные технологии к технологии 1997 года. Когда проблема отображения карты была решена, TerraServer запустили в работу и началось самое интересное.
TerraServer стартовал еще в 1997 году и сегодня он бы уже достиг своего совершеннолетия. Но к сожалению, у нас нет никакого способа им воспользоваться. Проект ушел в оффлайн еще в 2007 году, с тех пор Барклай провел большую часть времени работая над Bing Maps. Microsoft периодически восстанавливала TerraServer (даже после 2007 года). В дополнение к статье USA Today, проекту также были посвящены статьи в New York Times и Newsweek. В них описывались опасения по-поводу потенциального вторжения в частную жизнь пользователей при использовании системы. К примеру, заголовок одной из статей гласил: «Surveillance in the sky» (Наблюдение в небе).
Microsoft проводила церемонию запуска в Нью-Йорке, на которой присутствовал лично Билл Гейтс. В первый день работы доступ к проекту получили 8 миллионов пользователей, а к концу недели было зарегистрировано уже 30 уникальных посетителей в день (согласно докладу, опубликованному в 2000 году). В конечном итоге всплеск популярности сошел на нет и проект ежедневно посещало 7 миллионов пользователей. TerraServer стал успешней, чем предполагали в Microsoft.
Поразительно, сколько данных про общее веб-поведение смогли собрать в Microsoft. Но еще более поражает, как бездумно все это использовалось. В компании TerraServer рассматривали как очередную новинку, а не как проект, способный изменить мир. Примечательно, что в Microsoft (еще до Google) установили один интересный факт: человек будет весьма огорчен, если на сделанном снимке не увидит свой дом или знакомую местность, соответственно для него проект будет бесполезным.
Из воспоминаний Барклая:
В первый год работы проекта я получил более 20000 писем, в которых чаще всего писали две противоположности: «я люблю TerraServer, я увидел свой дом» либо «я ненавижу TerraServer, там нет моего дома». Мы выяснили, что 85% всех гео-запросов были локальными. Люди хотели найти места, находящееся рядом с их домом, будь то химчистка или какой-нибудь фаст-фуд.
Совокупность различных статей о TerraServer сосредотачивалась вокруг его возможности обрабатывать самую большую базу данных. При этом практически полностью игнорировалось то, сколько данных о привычках пользователей он мог собрать.
В статье Times упоминалось:
Стратегия Microsoft в использовании TerraServer направлена на доказательство того, что его программное обеспечение и операционная система подходят для массивных баз данных. Забавный факт — специалисты компании выяснили, что сеть Интернет наиболее оживленная по понедельникам и вторникам. Полученная информация была использована компанией лишь для определения, когда лучше проводить работы на серверах в дата-центре. Единственный доход, который Microsoft получала от использования TerraServer, поступал от продаж спутниковых изображение, отправляющихся пользователям по почте. Стоимость таких изображений варьировалась от $ 7,95 до $ 24,95.
Ныне Terraserver — памятник упущенной возможности Microsoft доминировать на рынке вычислительных технологий. Трудно сказать, почему компания решила прекратить развитие своего проекта. Возможно, это связанно с гибелью Джима Грэя (босса Барклая) в 2007 году в открытом море.
Комментарии (14)
YourChief
25.07.2016 19:29+9Полная статья на источнике до рерайта. Больше картинок и схем.
YourChief
25.07.2016 19:43+9А вот и минусующие подоспели. Вероятно, из той же когорты, которая друг другу посты перекрёстно опыляет.
Скрытый текстMerkat0r
25.07.2016 21:35+1На тот момент оно имхо и у гугла еслиб он существовал бы не взлетело — не было того покрытия дешевым быстрым интернетом и гражданских устройств где эти карты были бы востребованы. Грубо говоря толку от тех карт и данных — применять их было негде, а вот в будущее мелкософт не особо умел смотреть всегда как не каждый лишь мог :)
boblenin
25.07.2016 21:36+1Видимо NYSE был сильно меньше в 90х. Сейчас за день ~12Tb транзакций в CSV.
Here_and_Now
26.07.2016 09:17Где-нибудь есть доступ к ним?
boblenin
26.07.2016 14:42Не уверен, что сырые данные будут публичной информацией, а вот аггрегированые срезы — у них на сайте опубликованы.
samodum
25.07.2016 22:59+6>которые обрабатывались базой данных SQL
SQL — это не база данных, а язык запросов, с помощью которого происходит обращение к базе данных
Moskus
25.07.2016 23:36+2На самом деле, уже в первой половине двухтысячных годов сервис TerraServer стал мордой к WMS-подобному API компании DigitalGlobe, разработанному для поставки (продажи) снимков высокого разрешения со спутников QuickBird по запросу. Тогда этот API назывался, кажется, ImageAtlas, сейчас его место занял ImageFinder. Похожую функцию (каталог снимков DG) начало выполнять тогда и приложение Google Earth. Вероятно, это был способ снизить цену лицензирования снимков для Google.
Также, в какой-то момент (кажется, это было в 2005-м), разработчики TerraServer умудрились случайно отключить шифрование запросов для получения preview через этот API и засветить свой клиентский ключ, имея который (после нехитрых манипуляций с запросом), можно было таскать данные у DigitalGlobe совершенно бесплатно.
vagran
26.07.2016 09:56Не совсем понял про Меркатор и мозаику. Проекция Меркатора используется сегодня почти всеми подобными сервисами. Упомянутые присущие ей недостатки с масштабом никуда не делись и с ними смирились, т.к. они видны в масштабе всей планеты, но при локальном приближении становятся незначительны. Даже на обоих картинках в статье одна и та же проекция, на вторую просто сетка наложена (которая, кстати не соответствует иерархическому разбиение на тайлы, которое обычно используется), непонятно, в чём революционность.
dmitry_ch
26.07.2016 10:12+1> Ныне Terraserver — памятник упущенной возможности Microsoft доминировать на рынке вычислительных технологий
Террасервер показал многим, что такое — когда много информации можно использовать быстро, без долгих запросов, например, в библиотеку, без копания в бумажных атласах.
Не у всех тогда был даже приличный канал (да-да, v90 был не везде, v92 внедрялся), чтобы радоваться этой графике, а сервер отдавал тысячи кусочков фото, не путаясь в них и успевая каждый достать с хранилища.
Так что польза от TS была хотя бы та же, как от полета Гагарина в космос — простые люди, до того не думавшие в таких терминах, осознали, что революция уже здесь.
Что дальше не потянули развить сервис — так и цели не было. Но, уверен, ребята из Гугла свои карты и Earth не просто так придумали )Moskus
26.07.2016 23:31+1«Ребята из Google» на самом деле не придумывали Google Earth. Google купил компанию Keyhole, которая на тот момент три года разрабатывала этот продукт с клиентским приложением Earth Viewer, в 2004-м. Оригинальное название компании до сих пор существует в виде одной буквы в названии формата данных, используемых Google Earth — Keyhole Markup Language.
К слову, у американских военных (у агентства NIMA, теперь называющегося NGA) был собственный сервис, очень похожий на TerraServer — NIMA Raster Roam. Его сайт все еще существует, но не действует.
RolexStrider
Похоже, что это была самая масштабная и дорогая в мире Demo.