За 5 лет непонятный термин Big Data быстро наполнился смыслом и бессмысленностью, также как и «Интернет» 20 лет назад. Поскольку люди быстрее и проще понимают концентрированную и сравнительную информацию, то мы посчитали полезным перевод статьи с собранной фактографией «о размерах бедствия». К будущему надо готовиться. Заранее.



=======
Big Data — это больше, чем временное помешательство. Мы находимся на этапе революции, которая затронет каждый бизнес и каждого человека на планете.

Тем не менее, огромное количество людей и специалистов до сих пор относятся к концепции Big Ddata как к чему-то не особенно важному, что можно игнорировать, в то время как на самом деле их привычный уклад очень скоро переедет паровой каток, имя которому — Big Data.

Не верите? Представляю к ознакомлению 20 статистических фактов, которые должны убедить любого в том, что Big Data стоит пристального внимания:

1. Объёмы данных стремительно растут, за последние 2 года было сгенерировано больше данных, чем за всю прошлую историю человечества.

2. Сейчас скорость роста кол-ва данных ещё выше и к 2020 году будет создаваться 1.7 мегабайт новых данных ежесекундно на каждого человека, живущего на этой планете.

3. К 2020 году наша цифровая вселенная из накопленных данных вырастет в 10 раз — с 4.4 зеттабайт до 44 зеттабайт (44 триллиона гигабайт).

4. Мы создаём новые данные каждую секунду. К примеру, человечество генерирует 40,000 поисковых запросов каждую секунду (только в Google), что составит 3.5 запроса в день на каждого пользователя интернета и 1.2 триллиона запросов в год.

5. В августе 2015 года, более 1 миллиарда человек воспользовались Facebook-ом за сутки.

6. Пользователи Facebook в среднем каждую минуту отправляют 30 миллионов сообщений и просматривают 3 миллиона видеозаписей.

7. Мы наблюдаем быстрый рост объёмов видео и фото, более 300 часов видео-файлов каждую минуту загружаются на один лишь YouTube.

8. В 2015 году, люди сделают около 1 триллиона фотографий и миллиарды из них будут выложены в сеть. К 2017 году, около 80% всех фотографий будут сделаны со смартфонов.

9. В этом году, около 1.4 миллиарда смартфонов найдут своих обладателей, и у каждого из них есть специальные сенсоры, способные собирать самые разнообразные данные о владельце, и это не учитывая всех тех данных, что создают сами пользователи.

10. К 2020 году в мире будет свыше 6.1 миллиарда пользователей смартфонов (обогнав по количеству пользователей стационарных телефонов).

11. В течение следующих 5 лет, в мире будет 50 миллиардов «умных» аппаратов и все они будут собирать, анализировать и передавать данные.

12. К 2020 году, как минимум треть всех данных будут накапливаться в «облаках». А, значит, будут доступны для анализа.

13. Распределённые вычисления – давно уже часть существующей реальности. Google изначально использует их в повседневной работе: 1,000 компьютеров задействовано в ответе на каждый отдельный поисковый запрос, на обработку которого уходит всего 0.2 секунды.

14. По прогнозам, рынок Hadoop будет расти со скоростью 58% в год и превысит 1 миллиард долларов к 2020.

15. Исходя из прогнозов можно сделать вывод, что с помощью лучшей интеграции Big Data, можно экономить более 300 миллиардов долларов в год на здравоохранении — по $1.000 экономии на жителя США.

16. Белый Дом уже инвестировал свыше 200 миллионов долларов в Big Data — проекты.

17. Для среднестатистической компании, всего 10%-ое увеличение в доступности данных приведёт к увеличению их чистой прибыли более чем на 65 миллионов долларов.

18. Продавцы, использующие все возможности Big Data, могут увеличить свою операционную маржу до 60%.

19. 73% всех организаций уже вложились или планируют вложиться в Big Data к 2016 году

20. И один из моих любимых фактов: В настоящий момент, мы используем менее чем 0.5% всех возможных данных — просто представьте потенциал развития в этом направлении!

Мой прогноз? При той скорости, при которой растут объёмы данных и, вместе с ними, наши возможности к их анализу, бизнесы всех размеров будут использовать ту или иную форму для анализа данных в ближайшие 5 лет.

Вопрос уже не в актуальности Big Data; вопрос в том, готовы ли _вы_ к ним?

Перевод статьи Big Data: 20 Mind-Boggling Facts Everyone Must Read


=================

P.S. Автор статьи немного выдохся где-то к 15му факту, последняя часть уже не выглядит столь масштабной. Так что у читателей есть возможность дополнить интересными на ваш взгляд фактами, полезными для сообщества.

Комментарии (9)


  1. sim-dev
    27.10.2015 13:31
    +2

    Ну ладно, все это верно — растет объем и т.п. Но что из того? Новой информации генерируется не больше, чем всегда, а несущей реальную пользу новой информации генерируется крайне мало.

    Весь этот информационный вал состоит на 90% из мусора.

    Реальная польза человечеству была бы не в росте маржи тех, кто сумеет в этой куче мусора отыскать свои зернышки, а в том, если бы было найдено приемлемое решение уменьшить количество мусорной составляющей.

    P.S. Выводы в статье слабо согласуются с перечисленными тезисами. Примерно как «у тигра 10 миллионов волос на теле, у льва 5 миллионов, даже у ежа почти миллион — поэтому все, кто вложится в машинки для стрижки получат свои дивиденты». Каждое отдельное высказывание может быть верным, но одно из другого не следует.


    1. OzzyTech
      27.10.2015 13:39

      Алаверды (в смысле в основном согласен с комментарием), за исключением «мусорности» 90% и не-генерированием новой информации.

      Мусорная информация была и есть всегда, основных 2 подхода, которые борются сейчас скорее на «железном уровне» — хранить или не хранить. Будет дешево — будем хранить, поскольку никто не знает что будет и что понадобится. Следом за индустрией хранения — индустрия обработки, аналитики, «количество — в качество», новые индустрии.

      Что касается новой информации. Конечно правильнее говорить о «фиксации» — например, информация о перемещениях людей была и есть всегда, но человечество раньше записывало ее только для единиц («И пошел Князь Игорь войной на Ханство...»), сейчас — для многих, далее — для всех и всего.


      1. sim-dev
        27.10.2015 14:35
        +1

        Почему-то дикого бума в моделировании погоды не происходит, хотя все предпосылки для этого есть — и мощности вычислительные, и обилие источников данных, все эти самые бигдаты. Но реальная коммерческая выгода от этого по-настоящему нужного и полезного проекта не будет доступна массе «продавцов», и потому их на эту тему никто не окучивает. Вот молочко продать — это да, а погода — это ж когда еще прибыль пойдет…

        И так во всем — вместо распределенного моделирования развития раковых клеток мы генерируем криптовалюты, вместо хранения (настоящего, а не той пародии, что есть) статистически полезной информации о здоровье и факторах, на него влияющих мы качаем с гигабитными скоростями и терабайтами храним в облаках котиков и селфи…

        Сдается мне, мир сталкивается с тем, что он не знает, чем нагрузить доступные вычислительные мощности, отсюда и весь этот бигдата-бум. Побумкает и перестанет, мода — она скоротечна.


        1. OzzyTech
          27.10.2015 14:47

          Не соглашусь с Вами. Категорично ))
          В предыдущих статьях мы уже приводили разные примеры (понимаю, что не слишком учтиво отправить копаться в архивах, поэтому поверим друг другу на слово). И по погоде, и по Мировому океану, и по тектонике, и, что на мой взгляд, не менее сложно — по социуму.

          Погода, кстати, дико важно, потому что это огромные деньги (урожаи, пожары, наводнения и пр.), поэтому самый большой китайский супер-компьютер как раз в первую очередь занимается погодой. Здоровье (продвинутые аналоги полу-почившего Google Flu) — не меньше… И т.д.


  1. facha
    27.10.2015 13:33
    +1

    >>Продавцы, использующие все возможности Big Data, могут увеличить свою операционную маржу до 60%.

    У моей бабушки есть несколько козочек, и часть молока, которое они дают, она продает. Надо ей позвонить — рассказать хорошие новости.


    1. OzzyTech
      27.10.2015 13:42
      -1

      Если у Вашей бабушки будет инфа о всех любителей козьего молока, проходящих часто мимо ее дома — она явно сможет продавать больше. Именно так сейчас раскручивают бизнесы гео-локационщики для масс-рынка. Одни из наших коллег в данной индустрии рассказывали недавно, что порядка 400 гипермаркетов и компаний в торговых центрах уже применяют подобные технологии с «настырничанием» через почту и СМС. А нам, кто рядом проходил — мучаться…


  1. Aquahawk
    27.10.2015 14:24

    Сейчас стадия завышенных ожиданий, скоро многие вложившиеся обожгутся и поймут что очередной раз панацею никто не изобрёл и это просто большой сложный инструмент. И не всем подходит, и не все могут использовать. Картинка хороша, он показывает что ожидания начнут падать скоро.


    1. OzzyTech
      27.10.2015 14:52
      -1

      Спадет пена. Но не общий тренд. Диспозиция с облаками, лингвистикой, скоростными каналами, распределенными вычислениями и пр. и пр. — кирпичики, позволяющие строить новые виды зданий и сооружений.

      P.S. Видимо сегодня очень пасмурный день — пессимизм превуалирует. Или мы, как «радостные идиоты», смотрим на мир через розовые очки?


      1. sim-dev
        27.10.2015 14:59

        Не из всякой пены Венеры рождаются.