Система хранения данных Tatlin

Крупнейший по выручке ИТ-холдинг в России Национальная компьютерная корпорация (НКК) объединил усилия с госкорпорацией «Ростех» для вывода на рынок систем хранения данных (СХД), которые можно использовать для выполнения норм «закона Яровой». Потенциально это сулит огромные доходы от продажи оборудования отечественного производства. Операторам будут предлагать для установки сертифицированные системы на базе новой СХД Tatlin (на фото), которую в октябре 2017 года представила российская компания Yadro (ООО «КНС Групп», дочерняя структура НКК, блог компании на Хабрахабре).

О сотрудничестве НКК и «Ростеха» рассказал РБК Сергей Овчинников, гендиректор компании «Норси-Транс» — одного из крупнейших в стране производителей систем оперативно-разыскных мероприятий (СОРМ).

По его словам, сейчас создаётся «специальная реализация» СХД Tatlin под 374-ФЗ. Мощности для производства этих систем хранения в больших количествах есть у «Ростеха». Система очень продвинутая, хранить петабайты данных не представит проблемы. Технические характеристики СХД Tatlin см. здесь.

Технические характеристики

Согласно документации, платформа поддерживает подключение до 1632 дисков, а максимальная вместимость каждой СХД составляет 19,5 петабайт (19 584 ТБ).

Гибридная система хранения данных с унифицированным протоколом доступа (Hybrid Unified Storage) допускает подключение различных накопителей: NVMe/SAS SSD и SAS/NL-SAS/SATA HDD, предусматривает «глубокую параллелизацию операций ввода-вывода», имеет «программный стек, свободный от легаси-кода» и программную архитектуру на контейнерных микросервисах. Три основных компонента архитектуры — контроллеры PCIe-фабрики, контроллеры хранения и дисковые шасси. Высокая производительность достигается благодаря дублированному когерентному энергонезависимому кэшу ёмкостью до 2 Тбайт со временем задержки 200 нс и аппаратным ускорением обработки данных при помощи микроконтроллера на базе архитектуры MIPS64.

Вместо устаревшей технологии RAID целостность данных обеспечивают собственные механизмы защиты на базе кодов Рида — Соломона с минимальной избыточностью. В корпоративном блоге на Хабре компания публиковала цикл из двух статей о кодах Рида — Соломона: 1, 2.

Другие статьи компании в корпблоге, которые могут быть актуальными в связи с производством оборудования для исполнения закона Яровой: «Наша методика расчета стека печатных плат», «Тестирование на фабрике: „Чёрный ящик” и короткий цикл тестирования», «Несколько слов о тестировании сложных аппаратных комплексов».

Судя по блогу, компания действительно проектирует собственные платы, тестирует их и изготавливает, отправляя затем заказ на китайскую фабрику. Компания закупает у поставщиков тактовые генераторы, регуляторы напряжений, сетевые контроллеры, коммутаторы PCI Express, редрайверы и другие компоненты и собирает свои системы на их основе.

Хотя сейчас платы для СХД изготавливают в Китае и на Тайване, но в принципе разработчики считают, что всё производство можно перенести в Россию: «С точки зрения технологичности у нас достаточно обыденные борды. Мы ж не айфоны делаем. Я думаю, их почти все можно в России сделать с технической точки зрения. У нас есть одна мрачная [плата], но её мрачность заключается исключительно и только в длине 700 мм — мало у кого помещается такая заготовка и проблемы с пайкой (её коробит) и со сверлением — на длине точность уезжает», — говорит сотрудник компании asmolenskiy в комментарии к статье.

Для реализации проекта НКК и «Ростех» создали СП под названием ООО «Национальные технологии»: со стороны «Ростеха» проект реализуется концерном «Автоматика» (51% акций СП), а со стороны НКК — дочерняя компания ООО «КНС Групп» (работает под брендом Yadro, 49% акций). Руководитель СП — Константин Юнов, бывший ИТ-директор «Мегафона» и бывший замгендиректора Национального центра информатизации (входит в «Ростех»).

Представители «Ростеха» прокомментировали, что первые совместные продукты СП официально анонсирует в I кв. 2018 года.

Согласно пакету антитеррористических поправок депутата Ирины Яровой и сенатора Виктора Озерова, с 1 июля 2018 года операторы связи и организаторы распространения информации в интернете (ОРИ), в число которых входят сервисы электронной почты, мессенджеры, форумы, должны будут до полугода хранить записи звонков и переписку своих абонентов и пользователей.

За первые шесть месяцев 2017 года импорт СХД на российский рынок составил около $127 млн (230 петабайт). Среди лидеров — Hitachi Data Systems, Hewlett Packard Enterprise, Huawei. После вступления в силу закона Яровой объём рынка может многократно вырасти.

По оценке РБК, стоимость СХД Tatlin с максимальной ёмкостью 19,5 петабайт может составлять от $7,8 млн до $11,7 млн.

Комментарии (147)


  1. Sdima1357
    01.12.2017 13:07

    19.5 петабайт
    Глобальный интернет траффик 96000 петабайт в месяц. Из них мобильный 7000.Допустим что у России 1%…


    1. motpac
      01.12.2017 13:25

      Ну так в России и операторов больше одного. Каждый раскошелится на такую вот железку и глядишь даже избыток будет мощностей. Другое дело, что не всякий сможет себе такую железку позволить. Даже 8 млн баксов на дороге не валяются. В общем, прощай безлимит и дешевые тарифы.


      1. Oplkill
        01.12.2017 16:18

        В общем, прощай безлимит и дешевые тарифы.

        Первое уже как больше года ушло, второе следом за ним идёт тоже давно


        1. motpac
          01.12.2017 16:21

          А я и не говорю про мобильный трафик, блюреи по мобиле особо не накачаешь. А вот когда проводной трафик станет лимитным, вот тогда придется привыкать к интернету по карточкам…


          1. Areso
            01.12.2017 18:22
            +2

            У Ростелекома в ряде регионов уже. 1 ТБ в месяц.
            https://geektimes.ru/post/290377/
            https://geektimes.ru/post/290649/


            1. Ilirium
              02.12.2017 10:54

              Для этого нужно ежедневно скачивать больше 34 Гбайт. Вполне себе нормальное ограничение, чтобы 10 человек не засирали канал, которым пользуется 10000 или не перепродавали интернет.


              1. Lsh
                02.12.2017 11:17

                Что значит, «не засирал»? Человек выбрал безлимитный тариф, значит имеет право использовать его на 100%. А если там есть ограничения, значит это совсем не безлимит.


              1. Areso
                02.12.2017 11:33

                Т.е. операторам можно заниматься оверселлингом, а мне скачать 1 блюрей на вечер — нельзя?
                Уж не говорю, что у меня, так сложилось, нет телевидения, и потому каждый член семьи скачивает себе что-то свое. Мама сериальчики качает-смотрит, отец ностальжи советское, я полнометражные фильмы, брат "проходит" игры на ютубе/твиче.


                1. Tippy-Tip
                  02.12.2017 15:52
                  +1

                  У меня семья, выбирает в среднем 30 Гбайт в сутки. И это не только торренты. И телевизоры имеются (и дже их иногда смотрят).


          1. artyums
            01.12.2017 23:32

            У меня провайдер с 1 декабря уже перешел от многолетнего снижения тарифов к их повышению. Аргументируют правилами оказания телематических услуг связи, утвержденными постановлением Правительства РФ от 10.09.2007 №575.
            Другими словами, вместо 325р./мес теперь я буду платить 384р./мес. Вроде тариф и остался дешевле, чем были все другие у меня до этого, но звоночек, как говорится, прозвенел.


            1. motpac
              01.12.2017 23:50

              у меня в Самаре звоночек прозвенел еще года 3 назад, когда Дом.ру начал повышать тарифы


      1. NotCompletelyStupid
        01.12.2017 18:24
        +1

        Другое дело, зачем оператору (кроме как во исполнение дурацкого закона) покупать такую железку? Какая от нее бизнес-ценность?


        1. pant-79
          01.12.2017 22:43

          Ну как, держать в кеше кучу всего, чтобы потом это все не качать из внешнего мира при запросе, а выдавать на максимальной скорости. Что в среднем повысит скорость между провайдером и клиентом. Что потом можно с маркетинговым понтом выдавать за повышенную скорость. Что в конечном итоге «оправдает» повышение тарифов.


          1. artyums
            01.12.2017 23:36

            Ну а почему «выдавать», это действительно будет повышенной скоростью. Например, DNS у провайдеров по такой схеме работает с самых истоков, и он зачастую и есть самый быстрый.


            1. ploop
              02.12.2017 00:47

              DNS это одно, а контент совсем другое. Большинство его идёт по https, тут кеширование в пролёте. Самое тяжёлое — торренты — тоже в пролёте. Сводки погоды да несколько котиков?


              1. BeppeGrillo
                02.12.2017 03:00

                Google Global Cache-у шифрование не мешало.
                Его правда запретили но сам факт это не меняет.

                Самое тяжёлое — торренты — тоже в пролёте

                Тут тоже 2 варианта есть:
                1. Локальный провайдерский трекер (так уже было кстати) только с free контентом, как линуксойд одобряю.
                2. Полный чебурнет в котором скорее всего лицензии будут иметь такой-же вес как в Китае.


                1. Zverienish
                  02.12.2017 14:26

                  Потому что в «Google Global Cache» кеширование организованно на уровне сайта и выдается сразу нужная ссылка на ближайший сервер. Просто прокси так кеширование по https не организовать.


                1. vebeer
                  03.12.2017 13:33

                  GGC кэширует только трафик гугла и на оборудовании гугла, которое эксплуатирует тоже гугл. Что называется, почувствуй разницу.


              1. Mitch
                03.12.2017 04:50

                Чтоб раздавать торренты вроде достаточно поднять у себя торрент клиента, и бота чтоб автоскачивал себе все популярные раздачи с русских трекеров, а отдачу порезать фаерволом чтоб шла только в сторону клиентов.


                1. ploop
                  03.12.2017 23:36

                  Интересная идея, такой провайдер-пират :)
                  Кстати, и сейчас никто не мешает так сделать — хранилище на несколько десятков терабайт под самые популярные раздачи копейки стоит, а входящий трафик упадёт значительно.

                  Но ниже верно сказали — скорее к хранилищу он отношение будет иметь только на бумаге. И уж тем более никакого доступа.


          1. NotCompletelyStupid
            02.12.2017 09:08

            Имело бы смысл, если бы поднимали узлы CDN от крупнейших поставщиков контента (Youtube, facebook). А в текущей реализации все сведется к хранению петабайт зашифрованного контента.


          1. Halt
            02.12.2017 12:24

            А кто сказал что провайдеру дадут доступ внутрь? Купить железку и подключить ее в разрыв сети обяжут, а что там товарищ майор будет с ней делать, вам уже знать не положено.


            1. eov
              04.12.2017 12:46

              Ясен пень, что доступа у оператора к этой конструкции не будет. Только что-то законы менять не хотят в сторону перекладывания ответственности за предоставление выборок с этой конструкции с операторов на того, кто реально будет такой доступ иметь. А еще не плохо бы наложить дополнительную ответственность на того, кто использует получаемые с нее данные на сидение в одиночке под страхом высшей меры за разглашение то, что случайно нашел третим лицам...


  1. redfoobar
    01.12.2017 13:54

    Ну предположим, что всех обяжут покупать это железо, возникает вопрос, а какие риски поломки такого оборудования, ведь при такой бешенной большой плотности, если потерять хотя бы одну такую СХД за примерные ($7,8 млн до $11,7 млн.), как то грустно становится.


    1. ReakTiVe-007
      01.12.2017 16:25

      ничего, пользователь все оплатит


  1. Smiggoro
    01.12.2017 13:54

    «Согласно документации, платформа поддерживает подключение до 1632 дисков ёмкостью до 1 ТБ каждый, а максимальная вместимость каждой СХД составляет 19,5 петабайт (19 584 ТБ).»

    может я что то ни так понял? 1тб * 1632 != 19584 даже близко.


    1. artskep
      01.12.2017 14:02

      Может там есть еще какое-то сжатие. Тогда цифры можно чуть ли не с потолка брать.


    1. asmolenskiy
      01.12.2017 15:02

      Это контроллер с 96 12ТБ винтами + 16 JBOD по 96 12ТБ винтов в каждом.
      17x96x12ТБ
      Даташиты любят писать по крайним значениям.


  1. Alegor
    01.12.2017 13:58

    Простая математика: $10 000 000 / 20 000 ГБ = $500/ГБ, даже самые кошерные enterprise ssd стоят на полтора-два порядка меньше, до $10/ГБ
    RnD контроллеров столько стоит что ли?


    1. Hardcoin
      01.12.2017 14:05

      Математика простая, но неправильная. Обратите внимание, что 19.5 петабайт больше, чем 20 000 Гб примерно в тысячу раз.


      1. Alegor
        01.12.2017 16:01
        +1

        вот это я дал, задыхаюсь от пепла… все встает на свои места тогда


  1. PKav
    01.12.2017 14:00

    А самое главное то, что железка, по сути, бесполезна. С повсеместным шифрованием записывать этот «мусор» смысла не имеет. Если все предоставят ключи для расшифровки, есть два варианта: расшифровывать на лету и записывать, или записывать зашифрованное и расшифровывать по запросу. В первом случае требуемая процессорная мощность будет запредельной, во втором случае запросы из хранилища будут выполняться неделями и месяцами. И даже если система будет справляться, сразу же появятся более стойкие шифры с более сложными алгоритмами расшифровки. Для пользователя это замедление открытия страницы на пол-секунды, а для системы записи трафика это крах. В общем, ещё один олимпиард рублей в трубу.


    1. artskep
      01.12.2017 15:24
      +1

      Сначала вычислительные машины делали для науки. Потом они пришли в каждый дом и их начали использовать для просмотра котиков и порнухи. А сегодня огромные мощности производятся и используются для подсчета хеш-функции и хранения мусора.
      Увы, в этом мире нет, наверное, ничего, что человечество не довело бы до идиотизма.


      1. Eeegrek
        01.12.2017 16:06

        Ну одно дело, когда доведение до идиотизма происходит как побочный эффект, а не ради самого процесса.


        1. ARD8S
          02.12.2017 01:26

          А потом «крипт0рубли» на расшифровке котикомусора пользователей «майнить» начнут.


      1. Alex_Q
        02.12.2017 01:53

        Как человек, занимающийся наукой (моделирование фотоники), я могу сказать «Спасибо любителям реалистичных эльфийских грудей за массовые относительно дешевые мощные видеокарты».
        Иначе не было бы у меня 10 ТФлопс на столе.


        1. artskep
          02.12.2017 18:57

          Если вы подумали, что переход технологии в бытовую сферу я считаю «доведением до идиотизма», то вы меня неправильно поняли.
          Я уверен, что именно это «пик» развития технологии. Именно в этот момент она наиболее распространена и дешева. И этому есть куча примеров начиная от научных вычислений на видюхах (как результат красивых «эльфийских сисек»), распространенности камер и датчиков после распространенности смартфонов (результат «запостить селфи» или «порулить машинкой наклоняя телефон»), скорости интернета (следует признать, что повсеместное повышение скорости — результат таки массового потокового видео, а не научных данных и даже энтерпрайзных каналов).
          Список можно продолжить беспилотниками (которые, кстати, массово появились из-за того, что электроника для них стала распространенной из-за массовости смартфонов), Big Data (которые появились из-за того, что эти Big Data стало возможно снимать/анализировать из-за распространенности интернета и падения стоимости хранения данных, которые были вызваны чуть ли не той же порнухой)… Список можно продолжать долго…

          Да и сиськи, по моему мнению это прекрасно. Даже если они эльфийские.

          Но человечество доводит и это до идиотизма. Как результат — из-за крипты сейчас стоимость и доступность видюх уменьшилась. Так что ученому ТФлопсы станут дороже, а обычный игрок будет хуже видеть сиськи. А это очевидно плохо.


    1. Gutt
      01.12.2017 16:25
      +1

      Кстати, а это отличная идея! Внедрение алгоритмов шифрования с намеренно завышенной вычислительной сложностью (30000DES, да) для бойкотирования этой фигни. Правда, бизнес не согласится, отопление домов датацентрами в России не востребовано, т. к. у ТЭС достаточно лишнего тепла. А вот некоммерческие проекты — вполне. А производители батарей для смартфонов вообще идею с руками оторвут.


      1. PKav
        01.12.2017 16:29

        Достаточно зашифровать сильным алгоритмом торрент-трафик. Просто выпустить обновление клиента с поддержкой сложного шифрования и обратной совместимостью со старыми версиями, и система записи трафика постепенно нагнется.


        1. artyums
          01.12.2017 23:41

          Вы имеете ввиду с кодированием с большой избыточностью? Иначе я не понимаю, как стойкость алгоритма шифрования будет влиять на запись трафика — какая разница какой поток битов писать и хранить: raw, «слабо» или «сильно» зашифрованные?


      1. navion
        01.12.2017 20:50

        Доступ в интернет ограничат возможностями железок.


    1. Zverienish
      02.12.2017 14:29

      А как предоставить ключи, если ключи для каждой сессии новые?!


      1. LenKagamine
        03.12.2017 13:33

        Существует мнение, что никак, да и не в этом цель была.


    1. irnis
      03.12.2017 13:33

      > С повсеместным шифрованием записывать этот «мусор» смысла не имеет.

      зато какой источник энтропии! )))


  1. General_Failure
    01.12.2017 14:23

    Многие наверное слышали и использовали чёрно-юморные фразочки типа «Могильные технологии», «Хоронилище данных» и т.д.
    Так вот — никогда не думал, что увидим хоронилище живьём. Правда, не данных, а российского интернета


  1. Sokol666
    01.12.2017 14:33

    А что в этой российской разработке российского? Наклейки?


    1. asmolenskiy
      01.12.2017 14:48

      — Электрические схемы и топология (трассировка PCB) модулей
      — Конструктив (механика шасси)
      — Софт
      — Наклейки


      1. Een_Stemming
        01.12.2017 16:59

        Сдается мне, опять как минимум половину лицензировали у зарубежных разработчиков. Разве что наклейки действительно сами нарисовали.


        1. asmolenskiy
          01.12.2017 19:35

          Неправильно сдается. Что я могу сказать.
          Да и что именно мы чисто теоретически могли бы тут лицензировать у зарубежных разработчиков?


      1. freeseacher
        01.12.2017 18:24

        Завод не построили. Рабочих мест создали менее 500.
        Обидно да.


        1. asmolenskiy
          01.12.2017 19:42

          Да шут его знает где все это будет в массовке производиться.
          А с альфа-сэмплами к нашим производителям ходить — себе дороже.
          Так что то, что сейчас это производится в ЮВА — в общем-то особо ничего не значит.


      1. spqr_voldi
        03.12.2017 13:32

        А можно подробности про схемы и софт? Процессоры, асики, ОС и т.д.?


        1. asmolenskiy
          03.12.2017 14:02
          +1

          Это слишком общий вопрос. Поэтому и ответ будет таким же.
          В качестве контроллера СХД предлагается использовать наши серверы Vesnin, которые имеют на борту 4xCPU IBM OpenPOWER8, 8TB RAM и 24 NVMe винта.

          image

          Внутри Fabric Controller (тот что на фото в названии статьи) нет каких то особенных наших специальных ASIC — это просто одно большое дерево PCIe построенное на базе PCIe свичей Avago (PLX) 87 и 97 серий.
          Для подключения контроллера СХД к Fabric используются наши PCIe адаптеры, которые по сути вытаскивают PCIe шины сервера на MiniSAS HD кабели:

          image

          Про софт особо не могу ничего сказать — ибо я не про софт, а про хардвер. Софтом СХД у нас занимается питерский офис. Иногда они публикуют тут статьи.
          ОС: Linux


          1. Kopart
            03.12.2017 14:09

            Можете уточнить на вашем PCIe адаптере чип Lattice какую функциональность выполняет?
            А также основной чип (не видно маркировку) ASIC или FPGA?


            1. asmolenskiy
              03.12.2017 14:13

              Lattice смотрит одним своим I2C в хост, а вторым в MiniSAS коннекторы и в PEX8734.
              Ну и там к нему лампочки и кнопочки подключены на GPIO.
              По сути — не используется. На всякий случай припасен. Изначально задумывался для переконфигурации свича. Не чет ни разу пока не пригодилось.


          1. lelik363
            03.12.2017 14:18

            Какое количество конфигураций (исполнений) сервера будет предлагаться рынку?


            1. asmolenskiy
              03.12.2017 14:18

              Это вне моих компетенций. Но учитывая стоимость фарша который можно в него набить — я думаю это каждый раз будет индивидуально. Но это ИМХО.


              1. lelik363
                03.12.2017 14:36

                Интересно, какими средствами жизненный цикл различных конфигураций (ремонт, обновление и пр.)?


  1. tzlom
    01.12.2017 15:07

    А в чём сертификация то состоит? Проверят что он может быть установлен в России?


    1. Zashibis
      01.12.2017 15:09

      Проверять, что проценты от продажи в правильном направлении пойдут.


    1. Dr_Dash
      01.12.2017 16:16
      +1

      1. Пишешь бумагу, которой должно соответствовать изделие, туда сам придумываешь методики проверки соответствия. Это всё конечно должно каким то образом увязываться с нормативными актами.
      2. Привозишь бумагу и тестовый образец и самое главное кучу денег в организацию, выдающую сертификаты.
      3.…
      4. profit, в смысле рубишь бабло с клиентов обязанных работать только с сертифицированными устройствами, поскольку ты вроде как монополист, или близко к тому, поскольку в силу п2 порог входа на этот рынок высокий.


      1. GreyPhantom
        01.12.2017 17:26

        Привозишь бумагу и тестовый образец и самое главное кучу денег в организацию, выдающую сертификаты
        Если главное условие выполнено- можно и образец не предоставлять


        1. lubezniy
          01.12.2017 21:14

          Это если кучу поменьше, но не туда.


  1. Zashibis
    01.12.2017 15:09

    Мало сохранить данные на большую флешку в 19Пб, по ним же еще и выборки надо делать периодически (по запросу от ФСБ). На такую нагрузку эта флешка рассчитана?


    1. xaoc80
      01.12.2017 18:15

      По идее это должен был быть первый вопрос, который встал перед инициаторами данной движухи. Ведь для предотвращения преступлений нужна аналитика, а эта штука даст максимум возможность найти следы какой-то активности по факту. Ну или назначенных врагов режима наблюдать и сажать. Другой пользы нет. А ведь для аналитики можно было ведь пойти человеческим путем — у нас ведь есть Яндекс, Майл с экспертами в аналитики больших данных. Можно было бы аналитические центры по типу АНБ создать (и использовать там Эльбрусы, а не зарубежное железо). Но это был бы путь людей, обеспокоенных реальными проблемами безопасности, а не тех что мы имеем, увы. Право, иногда думаю что «там» сидят прямо таки иностранные агенты какие-то.


      1. Ezhyg
        02.12.2017 00:48

        Право, иногда думаю что «там» сидят прямо таки иностранные агенты какие-то.

        1 Счета (часть) в иностранных государствах.
        2 Недвижимость (часть) в иностранных государствах.
        3 Авто (почти все) из иностранных государств (даже не собранные здесь).
        4 Дети (часть, уж не знаю большая или нет) в иностранных государствах.
        5 Отдых (часть) — в иностранных государствах.
        6 Лечение (часть) — в иностранных государствах.

        можно ещё продолжить, при чём приплести ещё и то, чего просто нет местного, если задаться целью… «однобоко осветить вопрос»
        :(


        1. Kobalt_x
          02.12.2017 12:25

          Вывод вся элита государств не производящих автомобили и с не топовой медициной инагенты.
          P.S. Но вообще не вы первый такой, ДЕГ про криптоколонию уже очень давно задвигает.


          1. Ezhyg
            02.12.2017 14:26

            Кривой вывод. Особенно в свете последнего предложения, про «приплести».

            Я ничего не задвигаю (даже не знаю, кто и что это такое), лишь привожу «факты» (ну… без пруфов, поэтому не совсем факты, но всё же) в продолжение конкретной цитаты. :D


        1. dadyjo
          02.12.2017 17:08
          +1

          "Россия может иметь сколько угодно ядерных чемоданчиков и ядерных кнопок, но поскольку 500 миллиардов долларов российской элиты лежат в наших банках, вы ещё разберитесь: это ваша элита или уже наша?" (с)


  1. salopot
    01.12.2017 15:24
    +3

    Вместо устаревшей технологии RAID целостность данных обеспечивают собственные механизмы

    Я что-то пропустил?


    1. DjOnline
      01.12.2017 16:07

      Тоже интересует. Возможно ли это использовать дома и сколько дисков надо минимально?


      1. vesper-bot
        01.12.2017 16:24

        Формально все эти навороченные технологии вырождаются до RAID1 на таком маленьком уровне. А работают, начиная с ЕМНИП 8 устройств, обеспечивая выигрыш по сравнению с RAID10.


      1. ValdikSS
        02.12.2017 01:09

        Вообще, существуют технологии вроде RAID, которые работают на уровне файлов, а не блочных устройств. Они не привязаны к фиксированному размеру винчестеров, и, в случае выхода диска из массива, вы временно (до восстановления) лишаетесь данных только на этом диске, а не на всех.
        Для Linux: snapraid и mergerfs (или aufs).


        1. DjOnline
          02.12.2017 13:32

          Зачем вообще терять данные? Речь же об отказоустойчивых решениях.
          Какая у этих штук избыточность, такая же как у RAID5 в лучшем случае (33%), или продвинутая как в статье?


          1. onlinehead
            02.12.2017 14:07

            Я думаю речь не о реальной «потере» данных, а о чем то вроде ее временной недоступности.
            Что касается хранения с применением кодов Рида-Соломона — мне по работе некоторое количество времени назад приходилось сталкиваться с системой, хранящей петабайты данных (в виде блоков) в кластере. Восстановление было возможно, если память не изменяет, при потерях 3/7 данных.
            В подробности реализации не вдавался, на самом деле, да и не мое это дело было, но эксплуатационные проблемы в целом состояли из двух факторов:
            Первое — алгоритм сложный и, как следствие, ресурсоемкий. С вытекающими последствиями по скорости.
            Второй фактор — чтобы восстановить N байт нужно прочитать и обсчитать больше 2N, что в терабайтных объемах может стать проблемой. Собственно, проблемы со скоростью восстановления — они присутствуют во всех подобных системах.
            Потерянные данные на момент восстановления были, если память не изменяет, именно недоступны, потому что их фактически еще не было, их надо было вычислить. А так как части находились на разных нодах кластера, система получалась весьма сложная и, конечно, более медленная, чем аналог с простой репликацией. Но — работало, субъективно, отлично. Надежность практически как у репликации х3, эффективность использования пространства, очевидно, сильно выше.
            В случае железки из статьи скорость восстановления тоже весьма под вопросом. Читать она конечно может быстрее, за счет быстрого прямого подключения ко всем дискам, но количество требуемых вычислительных ресурсов все равно никуда не делось. В моем случае, теоретически, были тысячи ядер, а тут — черт его знает что за процессор(ы) стоят.


        1. rPman
          02.12.2017 14:59

          btrfs например настройки можно указывать прямо на каталоге


    1. vesper-bot
      01.12.2017 16:21

      RAID ограничен одним контроллером, software RAID — одним устройством. А ещё он статический — одна фиксированная схема размещения данных и контрольных сумм, хочешь поменять — пересобирай рейд (на лету или нет). Есть, скажем, технология S2D (Storage Spaces Direct), которая хранит дубликаты данных в достаточно размазанном виде на нескольких связанных устройствах, в массив на S2D можно добавлять устройства и диски относительно свободно, удалять, кстати, тоже. Вроде как на линуксе есть нечто подобное, тоже несколько дубликатов данных на совсем разных устройствах, с защитой от выхода из строя любого носителя или любого узла, т.е. да, RAID начинает устаревать.


    1. wych-elm
      01.12.2017 17:36
      +1

      Если я еще что-то помню из студенческих дней, то эти коды рида-соломона разрабатывались для коммуникации, где передача инф. последовательна и единицей отказа являются отдельные биты. А RAID подходит когда единицей отказа является сектор ЖД либо он весь. Т.е. когда у вас покрываются «бэдами» сектора на диске, без их полной копии где-то еще коды рида-соломона вам не особо помогут.


  1. noanswer
    01.12.2017 17:16

    теперь надо делать флудилки для мессаджеров… и чтобы каждый прогрессивный гражданин РФ запустил такую у себя на компе, телефоне, планшете. Флудилки будут меж собой общаться создавая псервдо осмысленный трафик… который забьет все нафиг...


    1. Gryphon88
      01.12.2017 17:18

      а чем Вам не нравится старый способ с гонянием туда-сюда urandom?


      1. vesper-bot
        01.12.2017 17:25

        Чтобы как в Англии не было. «Расшифруйте» — «Как? Это же urandom» — «Не хотите — в тюрьму.» Как вариант — гонять зашифрованные нули.


      1. noanswer
        01.12.2017 17:59

        тем что эта система в первую очередь направленна на мессаджеры… ну вот и пусть жрет… пусть 3х буквенные конторы пытается найти крупицы смысла во флуде.


        imho на жёсткую силу надо ответит мягким и липким флудом.


        1. oleg0xff
          01.12.2017 18:53

          >> пусть 3х буквенные конторы пытается найти крупицы смысла во флуде

          Ну это не они будут искать а Вы, когда Вас вызовут к следователю и попросят объяснить как понять эту переписку. А возможно просто запретят передачу любого непонятного текста через мессенжеры. Если не вериться — попробуйте отправить шифрованную телеграмму. Или сделать положенный Вам при задержании полицeй звонок на английском.


          1. noanswer
            02.12.2017 12:48

            так наводящий вопрос: мы говорим про мир 1984 года или про реальный мир?


            в реальном мире: когда полицейский обнаруживает в кармане нож (не холодное оружие и не в крови) на его вопрос "зачем вы носите нож" надо отвечать "я всегда ношу нож" любой другой ответ будет свидетельствованием против себя…


            запретить передачу непонятного текста через мессаджеры это прекрасно...


            отправка телеграммы осущетсвляется по правилам конторы которая ее отправляет ( телеграф) возможно там запрещено отправлять бессмысленный или шифрованный текст, не знаю


            и специально для рептилойдов, которые то будут читать:
            49f7 16ee 781d ce73
            f131 d032 d064 c6cb
            c465 87d2 9161 abf2
            4c43 818b 527a 584a


  1. SergeyMax
    01.12.2017 18:24

    Вместо устаревшей технологии RAID целостность данных обеспечивают собственные механизмы защиты на базе кодов Рида — Соломона с минимальной избыточностью

    Фраза звучит несколько странно, с учётом того, что в устаревшей технологии RAID6 используются коды Рида-Соломона.


    1. tUUtiKKi13
      03.12.2017 00:50

      Но у нас коды Рида-Соломона, не имеющие аналогов в мире!


  1. TheDeadOne
    01.12.2017 19:41

    Вот когда перенесут производство в Россию, тогда это и будет «российская СХД». А пока это собранная в России из китайских комплектующих СХД.


    1. asmolenskiy
      01.12.2017 22:59

      Почему китайских? Там всяких много.


  1. HappyGroundhog
    01.12.2017 22:29

    Не знаю как конкретно эта СХД, но те СХД от Ядра, что я видел, это перебрендированный OEM IBM в чистом виде, чего разработчики и не скрывают… там он нашего только наклейки и партнамберы…


    1. asmolenskiy
      01.12.2017 23:02

      Это два разных бизнеса. OEM — это то чем компания зарабатываете сейчас.
      Собственная продуктовая линейка — это то чем компания планирует зарабатывать в перспективе.
      Данный продут — это полностью собственная разработка. У нас собственные схемотехники, топологи, конструкторы, программисты, эмбеддеры, QA и прочие кого забыл упомянуть, которые ее осуществляют. Средства, на которые она осуществляется — это деньги заработанные на OEM.
      Мы не то что этого не скрываем — мы гордимся тем фактом, что способны заниматься RnD за счет собственных средств.
      Не нужно искать конспирологию там где ее нет.


      1. HappyGroundhog
        01.12.2017 23:11

        Спасибо за разъяснение. Никакой конспирологии, могу только порадоваться, что и наши компании начинают делать продукты подобного уровня!


        1. 0xd34df00d
          02.12.2017 02:25

          А целевая область применения вообще заставила меня пустить слезу радости! Бравое и правое дело ребята делают!


          1. asmolenskiy
            02.12.2017 12:03

            Целевая область применения — это надежное хранение данных. Это просто большая, плотная и в принципе недорогая хранилка Enterprise класса.
            И разрабатываться она началась до того как пошла эта тема с пакетом Яровой — цикл разработки таких изделий несколько больше чем один год.
            Не в тот огород Вы кидаете камни.


            1. 0xd34df00d
              02.12.2017 23:20

              У вас там что-то про сертификацию ещё написано. Вы для этой самой сертификации усилия прикладывали/прикладываете/будете прикладывать, или она сама собой случается?


              1. asmolenskiy
                02.12.2017 23:39

                Я инженер.
                Вопросами денег, сертификации, шифрования траффика, хранения порнухи и поиска несогласных — не занимаюсь.
                Поэтому вполне себе намеренно не участвую в этих ветках дискуссии.
                Но отвечая на Ваш вопрос — все что написано выше/ниже в комментах про сертификацию, про то что там что-то кому-то надо заносить — это уж извините бред сивой кобылы. В Питере сидит целая команда наших программистов и прикладывает к этому вполне себе ощутимые усилия.


                1. 0xd34df00d
                  02.12.2017 23:43

                  Про занос (или занесение?) я ничего и не говорил, меня не это волнует. А говорил я о третьей фразе первого абзаца вашей статьи.


                  1. asmolenskiy
                    02.12.2017 23:45

                    — Это не наша статья. Просто я в ней помянут и мне в почту письмо прилетело про нее. Задайте вопрос автору.
                    — Я не занимаюсь вопросами сертификации. Я знаю что у нас есть какое-то движение в этом контексте, но не более того.


                    1. 0xd34df00d
                      02.12.2017 23:55

                      Тогда не очень понятен смысл написания этого комментария чуть выше, ну да ладно.


                      1. asmolenskiy
                        02.12.2017 23:58

                        Смысл в том, что это не СОРМ и не какая-то специальная ФСБшная штука, которая сделана специально под Яровую.
                        Это в первую очередь хранилка. И начиналась разработка со слов — «мы хотим свою хранилку в продуктовой линейке», а не с пакета Яровой.
                        Просто конечно немного обидно читать всякое такое.


                        1. 0xd34df00d
                          03.12.2017 00:01

                          Если бы разработка и осталась «хранилкой в продуктовой линейке», а не стала бы ещё и «сертифицированным решением для выполнения пакета Яровой», то лично я бы виртуально снял виртуальную шляпу перед каждым из инженеров, ПМ'ов и маркетологов у вас там. Но, увы, бабло победило: «Потенциально это сулит огромные доходы от продажи оборудования отечественного производства.»


                          1. asmolenskiy
                            03.12.2017 00:04

                            А ну то есть мы должны принципиально не продавать хранилки под Яровую? ))).
                            Не ну ладно прикалываться.


                            1. 0xd34df00d
                              03.12.2017 00:23

                              Достаточно не сертифицировать, как я понимаю.

                              Когда у меня в своё (и достаточно голодное) время был выбор, делать или не делать не очень этичные вещи за неплохие деньги, я как-то выбирал «не делать», так что не сказал бы, что я прикалываюсь.


                              1. asmolenskiy
                                03.12.2017 00:29

                                Этика — понятие субъектное.
                                Мне тоже не нравится концепция вездесущего большого брата, но я знаю с десяток случаев когда это приводило к спасению жизни реальных людей.
                                Но вообще если честно — лично меня эта тема не особо заботит. Наверное потому что мне скрывать-то особо нечего. Тем более от спецслужб. У меня как у латыша — «х** да душа».
                                Но в любом случае — это непродуктивная полемика.


                                1. 0xd34df00d
                                  03.12.2017 00:35

                                  Если людей по одиночным камерам рассадить, это тоже сколько-то жизней спасёт. Как и если запретить им путешествовать, водить автомобили и заниматься экстремальным спортом.

                                  Полемика действительно непродуктивная, так как чем плох подход «мне нечего скрывать», обсасывалось уже раз двести даже на страницах GT.

                                  Не выложите, кстати, переписку с женой-родителями-детьми вот здесь, равно как и ваши чеки за последние полгода? Историю болезней? Планы на ближайший отпуск, когда вас не будет дома и ваш домашний адрес?

                                  А, хотя, впрочем, и это уже было.


                                  1. asmolenskiy
                                    03.12.2017 00:39

                                    Не выложите, кстати, переписку с женой-родителями-детьми вот здесь, равно как и ваши чеки за последние полгода? Историю болезней? Планы на ближайший отпуск, когда вас не будет дома и ваш домашний адрес?

                                    Это не одно и то же. И Вы сами это прекрасно понимаете. Все. Я эту тему не продолжаю.


                                    1. 0xd34df00d
                                      03.12.2017 00:40

                                      Не понимаю. Не написали бы вы «тем более от спецслужб», что подразумевает, что от обычных людей тоже нечего скрывать, тогда бы понял, а так — неа.


                            1. MTyrz
                              03.12.2017 01:04

                              Тут понимаете, какое дело: при всем к вам сочувствии нельзя не отметить, что в эпоху охоты на ведьм поставщики дров часто оказываются в несколько двусмысленном положении.


                              1. rPman
                                03.12.2017 12:08

                                сертификация меняет смысл аналогии


                                1. MTyrz
                                  03.12.2017 19:27

                                  Извините, не понял. Как меняет?


                                  1. 0xd34df00d
                                    03.12.2017 20:25

                                    Ну, вместо того, чтобы просто поставлять дрова не глядя кому, поставщик дров записывается на конкурс дров для государственной инквизиции, сертифицирует свои дрова для задач сжигания еретиков и ведьм и подсказывает инквизиции, как их лучше класть, чтобы горело краше.


                                    1. MTyrz
                                      04.12.2017 07:40

                                      Ну все же справедливости ради надо заметить, что тут не сам поставщик дров полез, а родительская компания. Первые полтора абзаца в статье вообще крайне интересны для понимания.

                                      НКК (у которой помимо Ядра в активе еще хренова туча всего, и годовая выручка в сто шестьдесят миллиардов) объединяется для сертификации с Ростехом (у которого годовая выручка с четверть российского бюджета, и есть мощности для производства заказанных хранилок «в больших количествах»).
                                      Де-факто разработчикам скажут спасибо за разработку и дадут конфетку. А «огромные доходы» уйдут Ростеху, ну и родительской компании что-нибудь отломится.

                                      Если, конечно, я верно понимаю написанное в статье, это уже настолько косвенное отношение, что следующим ходом можно будет подвергать обструкции, скажем, меня: я во время принятия закона Яровой жил в России, а значит, оплачивал всю эту пирдуху налогами.


                                      1. MTyrz
                                        04.12.2017 07:49

                                        UPD. Уточнение.
                                        Не четверть бюджета. Несколько меньше десяти процентов. Прошу прощения.


                        1. fpir
                          04.12.2017 11:22

                          А знаете как омоновцам бывает обидно, когда им на митинге в лицо кричат «мусор» и «окупант», но ничё, за то и зарплату получают.


                          1. rPman
                            04.12.2017 12:08

                            каким бы честным бы вы ни были, но если вы участвуете в преступлении, по приказу — вы виновны.

                            Когда эти обиженные абсолютно законный и мирный митинг разгоняют с дубинками, когда эти оскорбленные отворачиваются от провокаторов но формально обвиняют тех кто на этих провакаторов отреагировал (сложно не отреагировать когда тебя откровенно бьют), когда эти честные и неподкупные тупо не выполняют свою работу, и не ловят преступников, потому что им так сверху сказали 'этих, не трогать'… извините, но они 'мусора' и 'окупанты'.


                          1. asmolenskiy
                            04.12.2017 12:16

                            Не… а эт не обидно.
                            Я ж понимаю, что тема провокационная и скользкая. Тут иллюзий нет — не на что обижаться. Да и какой-то персональной обиды я тут не чувствую.
                            Обидно когда говорят — вот мол «все лицензировали у зарубежных разработчиков». Или вот мол под Яровую быстренько сварганили. Это обидно. И это неправда.
                            А все остальное — это Ваше мнение, Вы имеете на него полное право.


      1. Ezhyg
        02.12.2017 04:05

        Секунду… вы понимаете смысл аббревиатуры OEM?
        Вы не можете «зарабатывать OEM» потому что не вы Manufacture-ите, вы только собираете из отмануфактуренных другими — «брендируете». Возможно, что без вашего заказа товар не был бы выпущен вовсе, но вряд ли, ведь у IBM есть эти же аппараты под своей маркой. Или того хуже, вы даже не заказываете, а просто клеите шильдики на готовое — вы «бренд» в самом «худшем» смысле этого слова. Но не надо этого «стеснятся», таких «тысячи их».

        «Ваша собственная разработка» это ODM. То есть, отличие в том, что сами Development-аете. А это уже «сильно круче».

        Но лучше всего, говорите как есть — «мы заказываем комплектующие или устройства которые может выпустить/выпускает компания XYZ», «мы собираем готовое устройство из существующих модулей компании ZYX», «мы разрабатываем изделие и заказываем его на фабрике YXZ» (даже будет круто не скрывать), «мы что угодно», только честно и прямо! Без «подмены понятий», без «обтекаемости», в смысле — не прячась за терминами и не жонглируя словами.

        Да, я придираюсь. Да, возможно, «все всё и так поняли, один ты тут умный нашёлся». Ну и что, если вы так ловко бросаетесь играете терминами — будьте добры отвечать за слова!

        Мы не то что этого не скрываем — мы гордимся тем фактом, что способны заниматься RnD за счет собственных средств.
        Претензия была не к сокрытию или несокрытию производства, а к «переклейке шильдиков»:
        это перебрендированный OEM IBM в чистом виде, чего разработчики и не скрывают… там он нашего только наклейки и партнамберы
        И снова вы ловко играете словами :(.

        «Здесь вам не тут – здесь вас быстро отвыкнут водку пьянствовать и безобразия нарушать»
        Капитан сделал своё дело, Капитан может удалиться.


        1. asmolenskiy
          02.12.2017 11:54

          Вы очень много написали. Не не буду цитировать каждую Вашу фразу и разъяснять — попробую более просто объяснить.
          В компании несколько бизнесов, которые между собой не связаны. В них работают разные люди, у них разные руководители. И сайты разные. Но доход понятно подает в одну копилку.
          OEM: это да — с точки зрения обывателя, лейбл менеджмент. Глобально под этим конечно намного больше лежит, но не суть.
          RnD: это когда сидят инженеры и дизайнят.
          Есть и другие.
          Вот то что лежит в каталоге на oem.yadro.com — это OEM. И там не только IBM — там много чего.
          А Tatlin — это собственная разработка. Разработанная нашими инженерами, в нашем офисе, собираемая и отлаживаемая нашими руками.
          Я если честно не очень понимаю что тут непонятного? Одно другого не исключает. OEM-бизнес не мешает разработке и разработка не мешает OEM-бизнесу.
          Так начинали многие известные ныне разработчики. Bull например.


          1. asmolenskiy
            02.12.2017 12:07

            *** не туда написал


          1. Ezhyg
            02.12.2017 12:07

            Так не надо объяснять, я всё прекрасно понимаю, просто раз уж вы такой весь из себя «Российский производитель» — ну так будьте последовательны до конца! :)

            В этой коробке есть только один покупной модуль
            Да что такое-то… речь шла не про «эту» коробку, а про коробку IBM.


            1. asmolenskiy
              02.12.2017 12:08

              Какие конкретно аспекты разработки данного изделия Вас интересуют? И в чем Вы видите непоследовательность?

              Да что такое-то… речь шла не про «эту» коробку, а про коробку IBM.

              Про какую именно? В этой статье речь идет о СХД Tatlin.
              Я потерял нить претензии. Что не так?


            1. asmolenskiy
              02.12.2017 12:10

              ***


            1. asmolenskiy
              02.12.2017 12:20

              Да что такое-то… речь шла не про «эту» коробку, а про коробку IBM.

              А я понял…
              Говоря, что копания зарабатывает на OEM, я естественно имел ввиду что мы продаем чужие продукты под своей торговой маркой.
              Но по-моему это и так очевидно, независимо от порядка слов в предложении. Я не понимаю зачем Вы решили попридираться к формулировкам.


        1. asmolenskiy
          02.12.2017 12:07

          Но лучше всего, говорите как есть — «мы заказываем комплектующие или устройства которые может выпустить/выпускает компания XYZ», «мы собираем готовое устройство из существующих модулей компании ZYX», «мы разрабатываем изделие и заказываем его на фабрике YXZ» (даже будет круто не скрывать), «мы что угодно», только честно и прямо! Без «подмены понятий», без «обтекаемости», в смысле — не прячась за терминами и не жонглируя словами.

          Я так не говорю — потому что мы так не делаем =).
          В этой коробке есть только один покупной модуль (за исключением собственно винтов, естественно) — это маленькая карточка формата COM-Express. Все остальные модули разработаны нами. Не надо натягивать сову на глобус.


          1. lelik363
            02.12.2017 21:46

            Чей модуль, если не секрет? Почему свой не стали делать?


            1. asmolenskiy
              02.12.2017 23:35

              Дык в том и профит — что все равно чей. Это стандартизованный форм фактор.
              Все равно в том смысле — что у нас есть возможность поиграть в разные.


              1. lelik363
                02.12.2017 23:40

                В итоге то на чём остановились? Какая на нём задача?


                1. asmolenskiy
                  02.12.2017 23:43

                  Это менеджмент модуль. Телеметрия, хотплаг и прочее подобное.
                  Пока не остановились — у нас разные есть.
                  Это не самая принципиальная часть коробки, чтобы уделять ей какое-то значимое внимание.


                  1. lelik363
                    03.12.2017 00:05

                    Fabric на чем делали?


                    1. asmolenskiy
                      03.12.2017 00:08

                      Блин — это сложно в форме комментов на форуме рассказывать.
                      Загуглите PLX PCI Express Fabric.
                      Скорее все ответ на свой вопрос быстро получите.
                      Но если совсем по простому — это большой PCIe Switch с очень прикольными возможностями в контексте MR-IOV.


                      1. lelik363
                        03.12.2017 00:13

                        Я уже нужную иллюстрацию на сайте Yadra.
                        До fabrica руки не доходили, но даже PCI Express Switch впечаталяет.
                        Я так понимаю PLX 97 серия?


                        1. asmolenskiy
                          03.12.2017 00:17

                          Ладно сейчас попробую на пальцах.
                          Все вот это вот крутится вокруг PCIe.
                          Оcновная задача Fabric Controller — это отдавать разным контроллерам СХД, как разные физические PCIe устройства, подключенные к нему, так и разные виртуальные функции одного и того же устройства (ну или разных устройств).

                          Я так понимаю PLX 97 серия?

                          Так точно. Оно самое.


                          1. lelik363
                            03.12.2017 10:05

                            А дезайн корпуса, а точнее передней панели кто придумывал?


                            1. asmolenskiy
                              03.12.2017 13:10

                              Главный конструктор, инженер-конструктор (механик), маркетинг, CTO, мимо проходящие сотрудники. В общем все заинтересованные. Это же лицо — там много вовлеченных в процесс.


                              1. lelik363
                                03.12.2017 14:07

                                То есть специально обученных людей, которые предлагают эскизы нет?


                                1. asmolenskiy
                                  03.12.2017 14:09

                                  Почему? У нас есть штатный дизайнер. Собственно я его в прошлом сообщении включил в группу «маркетинг».


      1. stecker
        03.12.2017 13:32

        Вот вы такие гордые что смогли быстренько предложить технологический инструмент для удушения личных свобод и прав что мне аж вас жаль…


      1. spqr_voldi
        03.12.2017 16:48

        А можно рассказать про позиционирование хранилища, годно ли оно под какие-то нормальные задачи?


        1. asmolenskiy
          03.12.2017 20:48

          Конечно годно — это же обычная хранилка.
          Но рассказывать про позиционирование — это все-таки задача маркетинга и торговцев.
          Когда они сочтут нужным — появятся соответствующие пресс-релизы.
          Данная же статья написана не нами. За её содержание отвечает только её автор.


  1. Dark_Purple
    01.12.2017 23:43

    Потенциально это сулит огромные доходы

    Так то норм бизнес план у яровой.


  1. Tippy-Tip
    02.12.2017 02:53

    За первые шесть месяцев 2017 года импорт СХД на российский рынок составил около $127 млн (230 петабайт). Среди лидеров — Hitachi Data Systems, Hewlett Packard Enterprise, Huawei. После вступления в силу закона Яровой объём рынка может многократно вырасти.

    Я так понимаю, что пора бежать в магазин и затовариться жесткими дисками, чтобы с ними не приключилась история, подобная той, что произошла с видеокартами и одним банком?


    1. awsswa59
      03.12.2017 13:33

      за SSD вы уже опоздали. Год назад 128 гигов взял за 2600, пролежал год и тут приспичило продать вместе с работай. Отдал за 4000 думая что заработал кучу денег, глянут на новую цену в магазине понял что заработал 400 рублей


  1. rtzra
    02.12.2017 10:59

    Петабайты — это здорово. Вопрос: где взять необходимое кол-во накопителей? А что на это ответит рынок? Ведь если есть (или планируется) огромный спрос — можно и слегка повысить цены. А еще они выходят из строя — это тоже необходимо учитывать. Ну и утилизация — как-то же нужно их перерабатывать.


    1. Wijey
      02.12.2017 11:45

      Похоже, пора закупаться винчестерами впрок, пока не задрали цены из-за спроса.


      1. Areso
        02.12.2017 19:10

        "Добро пожаловать в Казахстан" (вместо Казахстана можете подставить по вкусу любую другую сопредельную относительно-дружественную страну).
        За шубами уже все гоняют в Грецию, Турцию и Китай… глядишь, и за жесткими с видюхами будем летать в свете возможного уменьшения таможенных лимитов до 20 евро


  1. bustamax
    03.12.2017 13:32

    Wiki:
    *В рейтинге, опубликованном экспертами СимиларУэб в апреле 2015 года, США (25,05%), Великобритания (5,51%) и Российская Федерация (5,05%) являются тремя крупнейшими генераторами интернет-трафика в мире
    *Объем интернет-трафика в 2016 году перейдет отметку в 1 зеттабайт. По прогнозу компании Cisco удвоение этого объема произойдет в 2019 году
    получается россия за год генерирует 5000 петабайтев — а в19 году 10000…


  1. 1234rfvb
    03.12.2017 13:32
    -1

    Зашёл прочитать дежурный комментарий про черенок и вазелин.
    Ау, ребята? Вы хвалитесь новыми, особо гладкими черенками?


  1. volodja555
    03.12.2017 13:33
    -1

    они хотят скопировать интернет