Прочитал сегодня на Cnews забавную заметку — разработчики российского софта пожаловались на закупку Департаментом Информационных Технологий г. Москвы решений Microsoft аж на 90 млн рублей. Мне как админу это событие интересно не столько суммой контракта или жалобой, сколько своей механикой — как они это делают? Нам, простым людям в регионах, администрация руки выкручивает — а в Москве, пожалуйста — берите Microsoft и это типа нормально. Поэтому, я заморочился и пошел искать закупку. Найденное обоснование меня настолько удивило, что я призываю хабросообщество ответить на вопрос — а что, так можно было?
Итак, отбросим лирику и перейдем сразу к сути. Закупку ДИТ Москвы не сложно найти на сайте госзакупок. Закупку проводят по 44-ФЗ, соответственно, на неё распространяется постановление 1236, которое накладывает запрет на приобретение иностранного софта для нужд госорганов. С этим документом многие знакомы, и детально пояснять его суть, думаю, не нужно. Справедливости ради скажу, что законом предусмотрена возможность закупки иностранного ПО в том случае, если российских аналогов нет. Логика простая — если нужен какой-то суперспецифический софт от сверхсложного оборудования, то его можно закупить, т.к. очевидно, что заменить такое просто нечем. Однако, чтобы провести закупку, её нужно обосновать.
И уж операционки Microsoft — так точно есть чем заменить в нашем отечестве.
Изучаем документацию
На сайте госзакупок нас интересует вкладка "Вложения", в которой представлены все документы в действующей редакции. Давайте их скачаем и посмотрим. Нас интересует файл Обоснование невозможности__1236.pdf, который почему-то на сайте госзакупок называется как Пояснительная записка. Самая важная часть документа внизу:
Отсюда мы узнаем, что ГКУ Инфогород (неделю назад они прославились с приложением для слежки за москвичами) подготовил отдельный файл — приложение с перечнем требований и эксплуатационных характеристик ПО. Он называется Прил к ОНСЗ 1236.xlsx, и лежит там же в документах к закупке.
Сразу видим нереального размера таблицу из 16 вкладок, в которых перечислены требования к тому или иному софту. В каждой вкладке мы видим такую структуру — в столбце А содержатся требования, столбец B и C содержат слово «да», а во всех остальных колонках написано либо «Не документировано», либо «Нет». Теперь посмотрим на шапку этой таблицы.
Понятно — столбец B говорит, что требуется, столбец C — показывает соответствие решения Microsoft тому или иному критерию. Дальше идёт перечисление множества российских программ, которые не соответствуют никаким критериям. Давайте посмотрим на российский софт и критерии для сравнения более внимательно.
Итак, создатели Microsoft Windows 10 сравнивают с комплексом анализа защищенности «Сканер-ВС», виртуализованным маршрутизатором EcoRouter, мобильной операционной системой Аврора, встраиваемой операционной системы SIM-карты «ОС (U)SIM ИТТ 3G/LTE», NAVITEL Embedded Linux и еще рядом похожих разработок. Зачем было сравнивать с ними — мне не понятно. Но, правда, в списке есть и настоящие операционки — Альт, AstraLinux, РЕД ОС. Очевидно, что эти операционные системы вполне могут составить конкуренцию Windows 10 — интересно, чем они не угодили ДИТ Москвы?
Внимательное изучение таблицы с критериями показывает, что у российского софта среди всех «нет» и «не документировано» есть только одно «да». Это поддержка платформы x64 у операционной системы Альт 8 СП. Я уж не говорю про всех остальных, но простите, а как же AstraLinux? Остальные критерии тоже не выдерживают никакой критики — отечественные операционки, оказывается, не работают с JAVA, OpenGL и не поддерживают Plug&Play. Как так?
Теперь посмотрим бегло на вкладку Microsoft Office. Видим ту же картинку — ни один из критериев у 208 единиц как бы аналогичного российского ПО не подходит, потому, что заданные критерии «не документированы». MS Office сравнивают с 1С Битрикс, ABBYY Screenshot Reader, VideoMost Server, Comindware Business Application Platform и множеством прочих подобных решений, которые на мой взляд не очень-то похожи на аналоги. Это все равно, что при потребности в холодильниках закупать утюги, поскольку и то и другое — бытовая техника, и не важно для чего она предназначена.
В списке критериев и вовсе идеологическая пропасть. Первым же критерием отбора офисного ПО заявлено требование соответствия Постановлению Правительства РФ №325. И из таблицы следует, что только Microsoft Office ему соответствует. ДИТ Москвы, вы издеваетесь или прикидываетесь? Откройте документ и прочитайте хотя бы его заголовок — он устанавливает дополнительные требования к программам из реестра российского ПО. Microsoft Office — российское ПО? А давно оно им стало? И в реестре есть, да?
Итоги
Уважаемые хабравчане. Как вы считаете, это вообще нормально или профанация? И у кого-то так прокатывало? Кейс реальный, можно на практике применять? Я могу так же купить Microsoft, ведь если Москве можно, то и у нас на берегу Енисея прокатит? А что по этому поводу думают контролирующие органы? Давайте обсудим, пожалуйста, мне важно ваше мнение.
DrPass
Как по мне, они-то как раз всё правильно сделали. Если некомпетентно составленная бумажка, составленная для некомпетентных чиновников, позволяет обойти откровенно дурацкий закон, то почему бы и нет?
Belking
Наверное то, что таким же образом отсеиваются и конкуренты, предлагающие более дешёвые решения при сопоставимом (а то и лучшем) качестве в закупках другого характера? Типичное применение принципа «друзьям — всё, врагам — закон». И именно за счет таких допущений и получается, что принимаются такие неадекватные законы, ведь «на кого надо» они не будут действовать.
Так что эта закупка вопреки Вашему мнению наоборот является способом «легитимизировать» откровенно дурацкий закон.
zomby
В случае с MS Office что не так? Ему нормальной альтернативы реально нет. Почти все коммерческие организации им пользуются, а уж они-то деньги считают и давно бы перешли на такой замечательный и бесплатный опенофис, да вот что-то не хотят.
И что вы предлагаете, чтобы не «легитимизировать откровенно дурацкий закон»? Пусть чиновники на местах устроят итальянскую забастовку, пока не примут закон нормальный? Я лучше помечтаю о более реальных вещах, таких как машина времени, телепорт или вечный двигатель.
khim
Где «правильные» компании, которые «спасают страну» после обвала цены на нефть? Где «замечательные», «эффективные» менеджеры, обеспечивающие страну продовольствием во время эпидемии? Нетути?
Ну и правильно, что нетути — это не их собачье дело. Их дело — всё грамотно делать в отсуствие форс-мажоров. А вот у государства как раз — есть задача с ними бороться.
И с этой точки зрения и покупка MS Windows и покупка MS Office — это чистой воды саботаж. Завязка критической инфораструктуры на продукцию «вероятного противника». Уж извините.
yleo
+1
Anrikigai
Простите, а Libre Office или что вы там предлагаете, выполняться на чем будет?
Не на продукции «вероятного пртивника»?
Процессоры, жесткие диски и все такое? В том числе в серверах.
Про «поддержку отечественного производителя» еще можно упомянуть. Но про критическую инфраструктуру не стоит.
Ну нет смысла ставить супер-пупер бронированную дверь отечественного производства для охраный критически важных секретов, если косяк деревянный, а задней стены нет вообще.
kmeaw
Процессоры у нас есть свои. На жёстких дисках можно хранить зашифрованную информацию.
DrPass
Формально свои. Фактически — производимые там же за границей и плюс сами кристаллы обвешаны кучей импортных IP-блоков. Т.е. для прохождения тендеров достаточно, для реальных гарантий безопасности сомнительно. Ну и опять же таки, не процессором единым. Коммуникационные чипы, память, накопители и так далее — всё это импортное.
hhba
Боже, что вы пишете, вы же адекватный человек…
IndyCar
ну насчет «все коммерческие» я бы так без обиняков и сразу не рубил, сам работаю в организации, в которой покупка MS Office должна быть серьёзно обоснована, и что-то похожее «все им пользуются» воспринимается как попытка саботажа… Если пользователю нафиг не нужны диаграммы, отчеты, связь с проприетарной системой, где не позаботились о совместимости, а просто таблицы нужны в качестве замены печатной машинки, арифмометра со счетами, никаких проблем делать свою работу в Open Office.
webkumo
Нормальная альтернативно — давно и надёжна сделана. OSS-варианты офисных пакетов не подходят в ~5-10 случаев, в остальных случаях вопрос в банальной совместимости с контрагентами и только. На моей галере в принципе принято ставить МС только "если есть потребность для работы с клиентами". Как вы думаете, 10+к работников (точнее не пишу, чтобы не было так очевидно о ком именно говорю) по всему миру — это достаточно крупная коммерческая организация, чтобы её опыт учитывать?
McKinseyBA
Ни Open Office, ни Libra, ни Google Sheet еще не приблизились к MS Excel по функционалу/стабильности. Это я заявляю как профи в использовании Excel, в компаниях на 1-2 порядка больше указанно Вами с годовым оборотом в млрд./десятки млрд. нерублей. Для продолжения дискуссии предлагаю создать хотя бы неглючащий аналог описанным в моих статьях 6-ти летней давности несложным инструментам)
Побочной стороной господства Excel является отказ серьезных аналитиков данных от Маков. Excel for Mac — жалкое подобие Excel for win, но это уже совсем другая история. Но даже Excel for Mac в стабильности работы наголову превосходит всякие Open/Libra.
Мой друг, дорогой корпоративный юрист (профессиональное использование MS Word), попытавшись пару раз всего лишь сравнить договоры в Libra до сих пор грязно ругается спустя полтора года.
Будем откровенны — мало кто среди разработчиков использует хотя бы четверть возможностей офисных пакетов. И в этом случае, конечно, переплачивать не имеет смысла. Но те для кого стабильная и полнофункциональная работа офисного пакета = залог собственной эффективности, улыбаются над подобными заявлениями.
Nalivai
А в примерах можно?
А то у меня тоже есть знакомый который грязно ругался на либру, а потом оказалось что его притензии все заключались в «а вот в микрософте эта функция в другом меню, меня на курсах не так учили, невозможно работать же»
McKinseyBA
Примеры чего? Про Word с чужих слов описал выше. Про Excel — на создание инструментов в своих статьях (поищу их за Вас) я потратил от 30 минут до 1 часа. Не глючили и не вылетало на массивах в пару сотен тысяч строк. Сделаете аналоги в свободном ПО, приходите, продолжим дискуссию)
UPD: внимательно прочитав мой базовый комментарий можно увидеть, что я акцентировал внимание на пользователях, которые используют офисные пакеты не на уровне «я у мамы секретарь». Ваш знакомый, с таким аргументированным уровнем претензий, ИМХО не умеет пользоваться настраиваемым интерфейсом Libra / ленточным интерфейсом современного MS Office.
Dolios
Такие данные нужно хранить в БД. Там и выборки и аналитику можно делать. Эксель для этого используют только на позициях а-ля «я у мамы недоучка, не умею в SQL и простейший скриптинг» ;)
Давайте уже использовать инструменты по назначению.
McKinseyBA
поработайте в больших компаниях, где возможности развернуть БД нет, как на уровне серверов, так и тупо локаладминсикх прав на тачке. Потом расскажете)
duplodel
Дело не в компании а в организации работы. Если вам что-то нужно — вы идете к айтишникам и объясняете суть задачи. Если все вменяемо и человек понимает о чем говорит, мы стараемся решить его проблему. Если человек говорит «я слышал есть крутое ПО, которое может %usercase%, я его хочу», но при этом мы знаем, что этот сотрудник и блокнот не осилил, то он идет лесом естественно
McKinseyBA
Вот я например (мой отдел), занимается перекладыванием созданных на коленке отчетов в Excel в нормальные BI-инструменты. Однако очень часто созданное на коленке так и остается частью штатного процесса и это беда в первую очередь больших неповоротливых компаний (>1 млн. чел.). Поэтому теперь я и работаю в относительно маленьком телекоме с парой тысяч человек, где почти все умеют в Excel и некоторые даже в SQL)
saboteur_kiev
Айтишники вам говорят — идите к безопасникам, запрашивайте у них разрешение на установку софта не из белого списка.
Безопасники отправят вас к экспертам, которые будут делать анализ либрофиса.
Эксперты отправят вас к интегратором расширения, которое было разработано специально под МС офис для автоматической категоризации типа документа и данных в них (публичные/корпоративные/секретные), с вопросов совместим ли Либр офис.
Интеграторы скажут, что конечно совместим, но нам нужно на совмещение X$ и полгода.
Ваш менеджер скажет что X это больше чем весь ваш проект зарабатывать за год и закроет вопрос, или скажет ок, но всем урезаем печеньки и командировки.
Примерно через 4-12 месяцев, может быть, либрофис, который вы хотели повяится в «сером списке», что означает что ваш отдел сможет его установить. Но не по всей фирме, потому что запрос приходил только от вас, а у других никаких проблем нет с тем, чтобы продолжать пользоваться МС офисом, и у вас появляется проблема с тем, чтобы обмениваться документами с соседними проектами.
В результате — нахрена весь этот цирк?
Вы реально не понимаете, что дело — в компании. В реально крупных компаниях какие-либо глобальные изменения происходят КРАЙНЕ редко и очень долго. И ВСЕГДА немного через политику и интриги, потому что КПИ и премия хай менеджмента аффектит любые процессы.
duplodel
Вы видимо перепутали ветку. Здесь речь о том что эксель на пол гига это костыль, поэтому юзайте бд. И если, в контексте такой ситуации, ваш интегратор вам чего-то написал, чтобы вы так делали, то нахрен такого интегратора
rashid-m
В больших компаниях иногда используют слово не ПО, а, скажем, ИС, или АС (Информационная / Автоматизированная Система). Подразумевая, что помимо собственно ПО есть ещё серверная и сетевая инфраструктура, регламенты, службы поддержки и пр. составляющие инструментария для работника. ПО в этом перечне важная, но не единсвенная часть.
Заменить ПО невозможно, не изменив ИС/АС. Самый процесс изменения, это долго и дорого, поверьте, по времени. Поэтому даже более эффективное в вакууме ПО в составе ИС/АС меняется долго.
То же самое касается и использования БД вместе Excel. Последний — вот он, рядом, никакая ИС/АС не нужны, никакие регламенты и новые процессы поддержки не нужны. Поэтому Excel, как более универсальный и более подконотрольный пользователю инструмент, выигрывает там, где ввести в эксплуатацию БД, или специализированную ИС/АС — сложно и долго.
saboteur_kiev
А вам говорят, что если в компании не внедрена БД, то никто ее внедрять не будет, будут продолжать юзать уже внедренный эксель.
strvv
Безопасность, если она безопасность — быстро смотрит на законы о КИИ, нормативку ФСТЭК, ФСБ, внимательно просчитывает риски предприятия — зарегистрированная докладная руководству и ваш МС Офис тупо идёт в лес, а вы учиться и переводить.
Кстати, МСО2003 и более поздние — это xml документы и при необходимости легко загоняются по базам, если пользователь может поставить задачу и структуру таблиц.
Другое дело, что МарьВанна из планового управления срать хотела на все ответственности по закону, у неё наработки с МСО97 (рефлексы), объём-необЪём совершенно не важен. Устроит истерику и руководство как буриданов осёл будет сидеть и потеть.
Вы все отмечаете что работаете в больших организациях, у Вас ИТ, не техслужба, чем занимаются?
У нас выше 5 тысяч человек в головной конторе. И если это задача автоматизации определённых работ подразделений, ставится задача и подготавливают инструменты в виде уже готового файла.
Вы запускаете — интерфейс как те же Ассеss базы — нужно — подгружаете xls, что необходимо делаете — всё прозрачно для Вас обрабатывается.
saboteur_kiev
С какой стати безопасность будет это делать не на гос предприятии?
Докладная руководству о чем? О том, что давайте закажем разработку софта для замены офиса, и стоить это будет раз в 5 больше, чем поддержка уже существующих лицензий? Знаете, кто тупо пойдет в лес после этого?
И дело не в МарьВанне, а в том, что было принято в компании заранее.
ИТ занимается поддержкой инфраструктуры. И у нас отлично живет MS офис, и никто не хочет с него переезжать, потому что в бизнесе ценится время, а MS технологии работают весьма неплохо (exchange, sharepoint, etc.)
Dolios
60 тысяч сотрудников, это достаточно большая компания, по вашим меркам?
Возможность есть всегда. Там, где возможности, реально, нет, там не будет сидеть человек, который мается дурью и лопатит гигабайты в экселе.
Вы уже в 3 раз пишите про админские права у юзера. Это ещё раз очень хорошо показывает, что у вас проф деформация какая-то и неуемное желание использовать инструменты не по назначению. Юзеру не нужны админские права, потому что установкой софта он заниматься не должен. Для этого существуют админы.
maedv
Элементарный пример. Активно использую в обработке своих данных (обычно 50-100 полей, до 70000 строк) автофильтр и сводные таблицы. В Excel это делать логично и комфортно. Но реализация сводных таблиц в Libre Calc убогая, а банальный вроде автофильтр реализован просто отвратительно: включаешь фильтр по полю, хочешь выбрать например >10, а такой команды нет, только в общем Стандартном фильтре на все поля! Инопланетяне делали. А уж отрисовка и масштабирование шрифтов вообще ужасные.
При этом есть же нормальные альтернативы, SoftMaker Office отличный
McKinseyBA
maedv
а был же SoftMaker FreeOffice
убрали?
Tomasina
Платный, но разница между 1780 р. (SMO) и 14485 р. (MSO) ощутима даже для одной лицензии. А если их под сотню, на сэкономленное можно сервак приличный докупить.
P.S. у меня SoftMaker Office
Dolios
Логично для этих целей Postgre, например, использовать. И отношения между таблицами какие хочешь и выборки любые и хранимые процедуры и доступ к данным откуда угодно организовать можно, без необходимости их таскать с собой везде. Про надежность я даже говорить не буду.
maedv
Для моих задач избыточно. Достаточно возможностей Excel, в особо трудных случаях с Power Query
nikolayv81
Это в разы дольше в большинстве случаев не говоря о том что если нужно ещё и подправлять данные, бд хороша для стандартной обработки, повторяющихся процессов и т.п. (если что под рукой есть 3 хранилища с "нормальным доступом" и один свой сервер… "свой" 3 oracle 1 teradata… Но многие вещи проще в эксель хотя я в него не умею и не люблю его очень сильно...
Dolios
Я в 42 раз повторяю. Я не предлагаю отказываться от табличного процессора, я предлагаю прекратить хранить гигабайты данных в xls файле.
rroyter
Это же не от вас зависит. Рассказывать как хорошо бы перевести данные из экселя в бд можно долго, да только мало кто в реальности этим занимается. Дела делать надо и использовать тот инструмент который под рукой.
strvv
Человек умеет только эксель (молоток) и всё что ему дают — использует как молоток. хотя с 1985 года СУБД развивались, но это надо и самому учиться.
embden
А я не понимаю, почему так происходит. Почему LibreOffice так плох? Я сам пользуюсь только LO уже несколько лет, и это мучительно, особенно, если нужен функционал хоть капельку необычный. Каждый раз, когда мне надо что-то сложнее "напечатать текст, применить простой стиль" или "вставить простую формулу в ячейку", начинаются проблемы. Если же мне надо делать что-то на в Calc, Writer или Draw — там проблемы начинаются уже на стандартных задачах.
nikolayv81
Ну всё достаточно просто, нужно понимать кто является основным драйвером для доработок функционала, люди работающие с данными по работе работают в ms в основном и даже если попадают на LO то они в лучшем случае найдут способ работать в нём но не пойдут его дописывать, увы :(
embden
Интересно было бы скинуться и провести конкурс баг-хантинга. Чтобы люди попробовали найти наибольшее количество багов за возможность получить приз, и записали бы это всё на видео. Потом сообществом посидеть, трансформировать баги в баг-репорты. Я бы выделил несколько направлений баг-хантинга:
А ведь неплохая идея, так и обычных людей получится познакомить с открытыми продуктами.
nikolayv81
Мы тут бд в одной крупной фин. организации получали, нужна была своя, ну года 2.5 от начала до получения… И теперь отбивается от пожеланий наши несколько человек "автоматизировать за сотни миллионов и несколько человеколет"(главное открыть проект угу) причём в итоге нужно будет не 5 человек а 20 на тоже самое, что в общем традиционно :)
Ndochp
Эксель можно, а аксесс нельзя?
McKinseyBA
Конечно можно! Но он не входит в стандартную поставку MS Office, а речь об инструменте, который на компе есть у каждого бухгалтера/ Иначе как результат-то показать сотне-другой коллег?
Да и потерялся смысл в Access после того как выкатили PowerPivot.
MarazmDed
Начинается цирк с конями! :) Ексель и БД — не пересекающиеся по функционалу инструменты. Некоторые задачи в экселе я решу за 15 минут, а в СУБД на то же самое у меня уйдет 2 часа. Эксель — это и гибкость и наглядность. Захотел — добавил столбец, захотел — удалил. Захотел формулу накатал — все в одном месте перед глазами. Захотел — диаграммы построил, зависимости поискал.
К этому вас и призываю. БД — не про большие данные. БД — про СТРУКТУРИРОВАННЫЕ данные.
humbug
А давайте использовать и инструменты и людей по назначению?
То, что вы чуть-чуть умеете в SQL еще не значит, что ваше кунг-фу будет иметь силу в офисных задачах.
Dolios
Охладите траханье. Читайте внимательно, на что я ятвечал. Я лишь немного передразнил собеседника, чтобы показать ему как он выглядит со своими «я у мамы секретарь».
В телепатию вы не умете даже чуть-чуть. Жаль, были бы специалистом на расхват.
Merzavets
Отличная статья, спасибо! Написал вам кое-что в личные сообщения.
Dolios
Т.е. для 95% пользователей. Я за 20 лет работы в разных компаниях ни разу не видел ни одного человека, которому бы libre office недостаточно было.
Он попытался начать работать в libre office или, как это обычно бывает, попытался открывать в нем документы, сохраненные в не родном плохо документированном формате?
McKinseyBA
В Вашей реальности возможно и так. В моей — 20% офисных коллег (не из IT) умеют в SQL. Еще 50% умеют в сводные таблички/вычисляемые объекты сводных табличек в Excel, обрабатывая зачастую сотни тысяч строчек. Итого 70% «не секретарей».
Согласен, что текущая data driven компания с дорогущим BI-решением не показатель. И на всех предыдущих местах % «не секретарей» меньше, но никогда не был ниже 40%.
PS: возможно мне везло, но я всегда работал в компаниях с высоким входным порогом, включая 3 международных.
UPD: как мы уже выяснили, мы из разных реальностей. Вы, скорее всего, никогда не работали аналитиком данных. Поэтому Вам сложно увидеть задачи, которые нельзя решить в Либре. Готов продолжить дискуссию когда повторите простенькие инструменты из моих статей, которые не будут глючить на обычных массивах в 100к строк)))
Dolios
У меня отдел этих аналитиков, одно время, под боком сидел. На линуксе. Офисные пакеты они не использовали. Дураки, наверное, упустили свое счастье.
Именно поэтому производительность труда такая низкая. Низкоквалифицированные люди используют неподходящие инструменты. Здесь мерилом работы считают усталость (с)
okjaeo
Не знаю что за конторы, в которых вы работали, где большинству достаточно печатной машинки.
Во всех конторах, где работал я, были кучи документов, таблиц. И даже если кто-то и не пишет макросы в excel, то он пользуется готовыми. И 95% сотрудников просто уволятся, если их заставят после работы изучать LibreOffice, потому что рабочего времени и так впритык.
Ну а дома я резюме в LibreOffice подправлю да пару таблиц в гуглодокументах веду. Хотя знаю людей, у которых семейный бюджет в экселе настолько круто сделан, что никакой специальной программой не заменишь.
asm0dey
Кстати вот под такие сложные задачи уже, вероятно, лучше R использовать чем Excel :)
McKinseyBA
Честно не очень понял, что сложного в описанном мной выше… А вот кластеризовать при помощи k-медиан массив в Excel будет только извращенец. Здоровый человек конечно же выберет R / Python. Для каждой задачи — свой инструмент)
asm0dey
Мне кается что вообще как только мы начали считать что-то на большом массиве данных — уже ксель неудобно. Группировки-сортировки-формулы — уже многовато.
McKinseyBA
50% споров под этой статьей упирается в разное понимание участников о размере массива, который комфортно обрабатывать в табличных процессорах. Те, кто умеют в анализ данных и делали это своими руками, понимают, что 500к строк — небольшой массив, и Excel с ним комфортно справится. А любой open source аналог при задачах чуть выше сложения соседних ячеек — нет.
Для меня лично понятие «большой» вообще начинается от 1Tb, возможно потому что в моей Vertica из больше 200) И, конечно же, для обработки таких объемов существуют свои инструменты.
asm0dey
Ну лично я крутил в хадупе в одной ETL'ке 2 терабайта… А всегда у нас их были сотни… Но даже в экселе уже неудобно работать с 10к строк. Просто потому что через них долго скролить чтобы протягивать формулы.
DrPass
Так ведь если у вас 10К строк, можно ведь просто ввести диапазон вручную, зачем мышкой протягивать?
asm0dey
Как обычно всплывает то, что я не особо хорош в экселе. А как мне растянуть формулу по высоте не протягивая её? Куда вводить диапазон?
McKinseyBA
Ctrl + Shift + стрелочки поможет выделить диапазон и далее Ctrl+C, Ctrl+V.
Согласитесь, что ради обработки 10к строк разворачивать Hadoop или даже БД — это жесть? Проще ведь загуглить быстрые клавиши и через 10 минут в Excel решить любую текущую задачу.
И не только Вы плохо знаете Excel, его в целом плохо знает 95% тех у кого он установлен. На мой взгляд это уже давно такой же обычный навык как английский язык — обойтись можно и без него, но с ним ты просто эффективнее и дороже на рынке труда.
Мой 0.5Пт Hadoop на работе сугубо для обработки стриминговых данных развернут. Ну или хранения не самого ценного. А вот все ценное в DWH на базе Vertica из которой вполне себе норм выгружать в Excel и не только.
Chamie
McKinseyBA
Вы описали кейс забивания молотком шурупа. Развернуть недолго и можно, но ради такого объема не нужно и никто из аналитиков так не делает. Ибо такие объемы (10к строк) даже в обычном OO/LO можно обработать, хоть и в более ограниченном виде, чем в Excel.
И вообще изначально мои комментарии, человека когда-то профессионально работавшего с табличным процессором была о преимуществах Excel над OO/LO. Зачем в сравнение табличных процессоров прикручивать БД — вопрос.
Обратите внимание, что под всей статьей комменты уровня «нафиг ваши табличные процессоры — разверни БД и пиши к нему код» оставляют разработчики не из мира BI. А те, кто имеют аналитический бэкграунд приводят аргументы Excel vs OO/LO. Просто если сами руками серьезные аналитические задачи не решали, то, возможно, и сложно будет увидеть реальные юзкейсы.
В качестве реального юзкейса — посмотрите мои старые статьи и попробуйте реализовать все это в OO/LO (скорее тупо не получится ибо функционал убогий) или в БД (засеките время ибо я в Excel делал это все за 30-40 минут чистого времени).
Chamie
DaemonGloom
Люди часто любят покупать не подписку, а разовый платёж. В Office Home & Business 2019 нет Access, например. Как и в Microsoft Office Standard 2019.
asm0dey
Ради 10к уже удобно иметь CSV + произвольный язык программирования :)
McKinseyBA
Решите реальный юзкейс из комментария выше на произвольном языке программирования) Вот честно — очень интересно сколько у Вас уйдет чистого времени на это с учетом подготовки данных.
В опыте решения (скорости решения) реальных аналитических задач и кроется мощь такого универсального инструмента как Excel.
asm0dey
А выше — это где? Вы мне дайте исходные, а я попробую решить :-) Я очень хорошо работаю со стримами на джаве и со спарком, не верю что могу хоть что-то быстрее сделать в экселе, чем на них :)
А ещё наверняка есть люители пандас, которые сделают очень быстро с ним.
McKinseyBA
habr.com/ru/post/496600/#comment_21491576
Про змейку не подумал. Но на python скорость разработки будет, возможно, самая высокая.
Давайте конкретизирую — необходимо создать аналог (бэкенд+фронтэнд) решения подробно описанного тут. У меня ушло 40 минут, ну пусть будет 1 час чистого времени на все под ключ.
Статью писал раз в 10 дольше))) Я делал в Excel и более крутые штуки, но это из описанного в широком доступе — самое интересное. До сих пор приходят вопросы и предложения от зарегистрировавшихся на Хабре только с 1 целью пообщаться в личке с автором)
UPD: на 99% уверен, что реализовать под ключ ни на одном популярном языке за 1 час не получиться ибо объем нефиговый, но если все-таки сделаете, то обязательно напишите статью со ссылкой на репозиторий. Добавлю ссылкой в своей статье, поможем вместе малому бизнесу в это непростое время!
asm0dey
Там в самом начале русским по белому написано что за 3 недели сделали :)
McKinseyBA
40 минут — чистое время работы в Excel, когда задача четко сформулирована. 3 недели — это формулирование задачи + выкатывание в продакшн минимум 3-4 итерации, доработки формул и внешнего вида после уточнения ТЗ по итогу использования в течение пары дней.
Вам дано полное ТЗ, т.е. не надо собирать и уточнять требования + гандикап в полтора раза больше времени на разработку. Все честно.
Теперь Вы и сами видите, что сделать-то можно вот только кодить минимум сутки, а не 1 час))) В этом и прелесть Excel — скорость и мощь инструмента на массивах до пары сотен тысяч строк.
asm0dey
Я пока ничего не вижу — я остановился на строке про 3 недели. Но вот сейчас я попробовал читать дальше и увидел какие-то непонятные мне аббревиатуры — всякие БДДР и БДДС… А задачи так и не увидел… Так я конечно за полчаса не справлюсь потому что без данных и без понимания того что надо делать сложно что-то сделать.
Но если заказчика удовлетворяет работа с экселькой — то вполне логичным кажется с моими отсутствующими навыками работы с экселем считать всё в джавке, а результат экспортировать в эксель :)
McKinseyBA
«Для начала проясним термины: будучи не финансистом, под БДДС понимаю «Баланс Движения Денежных Средств», БДР — «Бюджет Доходов и Расходов». БДДС считаем кассовым методом (днем совершения операции — колонка «Дата операции») и используем для операционного day-to-day планирования, а БДР методом начисления (колонка «Период начисления») для стратегического, в рамках года и более.»
1 час это на кодинг и 3 недели на понимание ТЗ — так устроит?)
UPD: я там допустил фактическую ошибку БДР и БДДС должны немного по иному считаться, с НДС и без НДС, но кто понимает допилит. Да простят меня финансисты)
asm0dey
Ну да, с такими таймфреймами сделаю конечно :) Программирование — это очень просто, понимание — сложно :)
McKinseyBA
Огонь, будет круто. С Вас статья) Не забудьте в личку кинуть чтобы не пропустил в ленте и с Вашего позволения сошлюсь на нее в своей.
asm0dey
Вряд ли она когда-нибудь будет. Потому что одно дело это когда у тебя есть задача — сесть и хоть за день, но написать. И совсем другое сидеть и разбираться с незнакомым доменом несколько дней. Понятно что за второе я не возьмусь — слишком маленький выхлоп.
McKinseyBA
С точки зрения здравой логики и затрат Вашего времени — полностью согласен.
Но доказательств изначального утверждения о том, что кодить быстрее, чем решить реальную аналитическую задачу на массиве в 10к строк в Excel получается нет) ЧТД.
asm0dey
Получается, нет, да. Но и доказательств обратного, собственно, тоже. Я подозреваю что, как обычно, быстрее тот инструмент, которым владеешь.
McKinseyBA
Результат в Excel можно пощупать руками и любой, кто заглянет под капот подтвердит, что за 30 минут повторить такое в Excel сможет любой толковый аналитик. Повторить все это на любом ЯП можно, но не за такое время даже близко. Именно это утверждение нужно опровергать и доказывать, и никакое иное.
asm0dey
Так я же не утверждаю что вы неправы. Я утверждаю что утверждение фальсифицируемо. Вопрос только в том, чтобы честно поставить эксперимент, а мы этого не делаем. То есть берём не менее толкового разработчика, который наком с педметной областью, говорим что вот тебе руками выгруженные данные, надо провести такие-то преобразования, что непонятно? Объясняем всё что непонятно, стартуем таймер и смотрим на скорость.
McKinseyBA
У нас все на веру, я ведь тоже не с секундомером сидел. Я лишь предложил повторить уже имеющийся результат. Вы сначала согласились, а когда увидели задачу и оценили требуемое на ее выполнение время, то как адекватный тимлид/senior оставили ее в стороне, понимая, что проиграете спор)
Ни в коем случае не хочу обидеть. И искренне буду рад если у кого-то получится на деле доказать, что я неправ и выложить ссылку на репозиторий c кодом рабочего решения. Но объективно, кодить на ассемблере аналитическую задачу просто дольше (больше строк кода), чем на условном python с кучей подключаемых библиотек. Так и в описанной задаче, 30 взмахов мышкой + десяток строк формул просто быстрее кучи кода на Java (бэк+фронт).
Каждому классу задач — свой инструмент.
asm0dey
Я продолжаю верить что сама реализация там копеечная. И вроде вероятно что спор бы я не проиграл. Но опять же время на аналитику переваливает разумные пределы.
McKinseyBA
Может какой-нибудь добрый самаритянин, разделяющий Вашу точку зрения, рассудит нас примером своей реализации)
webkumo
Вот чего я там не вижу — так это ТЗ к UI. Т.е. можно выгрузить как результат тупо csv/xlsx файл, а можно что-то накрутить с вебом или (для java) swing/awt. С UI в час встроиться будет сложнее (хотя опытные UI-щики справятся).
Deesy
наверняка ставить oracle, sql server, postgresql будет лишним. но в каждой конторе можно поставить sqlce/sqlite. придя на контракт в один банк 6.5 лет назад, мне выдали задание, но не выдали бд. когда от размеров данных начал пухнуть excel, а админы все так же кормили завтраками на предмет нормального sql server, я начал искать альтернативу. работая на тонком клиенте с отключенными админскими правами для установке любого другого софта и даже запуска cmd, обнаружил что по умолчанию был установлен sql ce. все данные в момент перекочевали в мелкую локальную базу. делать те же самые vlookup-ы по более чем одному полю стало гораздо быстрее чем городить огороды из формул. в последствии все-таки был предоставлен sql server (хотя перепалки с dba на предмет видения оптимизации были постоянно) но тем не менее на этом самом ms excel был написан софт (ибо в банковском секторе не было дозволено запускать ничего кроме как того что есть у всех) для выставления красивых и кастомных счетов для гигантов вида google, ali*, apple, M&S, в то время как бакэнд был настрочен на t-sql с обработкой за 23млн ежедневных карточных транзакций. вот тогда я крепко поверил в мощь связки ms excel + sql.
lmike
о чём вы говорите...?
Примеры из жизни:
— миграция в САП, внедренцы (известная компания) анализировали данные, помощью excel, строк около 80 тыс. Время Vlookup ~30минут, на каждый заход сравнения. Простой grep <1 минуты. Делаем выводы — чем занмимаются люди использующие excel с таким объемом данных
— есть оригиналы использующие всякие Add-in для excel (как пример PowerBI/Power Query). Сотрудник попытался на 20 тыс запустить… просто падал excel. Меня такое поведение не удивляет ;)
— еще кейс — перенос в облако (Offce365), можете представить что будет при доступе к данным через интернет/https если есть связанные таблицы? Боль/страдания при сколько-нибудь значительном объеме данных
Стоит ли упоминать — что работа через облако будет сопровождаться спецификой. Office Online не поддерживает макросы/адины и прочую…
Вывод — использование офиса кроме как «затычки» — весьма сомнительно, а для «больших» объемом не оправдано
Могу еще истории про юристов и Word рассказать, но считаю достаточно и так ;). Нет ничего уникального незаменимого в МСО — кроме привычек отдельных людей
beerchaser
Есть маленький нюанс: люди, которые умеют в ехель впр уже есть, людей, которые умеют греп ещё нужно найти, а операция разовая. Мигрировали, дальше как? Если учесть, что для людей с ехель не просто так и сап зачем-то…
lmike
миграция была не из эксель ;)…
да, маленьких нюансов много, вот сотрудница захотела сменить место работы, искала должность аналитика…
в требованиях: SQL и python
и это нормально, а вот «эксель-специалисты» — это временная аномалия. Я не к тому — что экселлем пользоваться не будут.
webkumo
Да боже упаси на электронных таблицах ПО писать! Есть таблицы — для относительно несложных вещей, всё остальное должно делать специализированное ПО. Контора, возможно, меньше вашей, но revenue (доход) у неё > $100 000 000.
Вы живёте в каком-то своём мире. Сейчас всё больше и больше распространена аналитика на базах данных и средствах её агрегации (в тех случаях, если способностей одного хоста уже недостаточно). Тот же питон + мускул — намного надёжнее и быстрее экселя для обработки данных… да ещё и не потрубуют выгрузки данных в этот самый эксель. Хадуп и прочие — ещё больше раздвигают горизонты аналитики данных… действительно больших данных. И да, это ваше "господство Эксель" — вполне вписывается в указанные мной 5% реальных юзкейсов… и даже не занимают там существенную долю.
Дорогой друг, для сравнения файлов (текстовой части) давно придумали diff в системах контроля версий. Он намного эффективнее и удобнее жалкого подобия в ворде. Единственная проблема — данные, которые нужны юристу достаточно прочно привязаны к формату… но есть способы автоматизации этого процесса… чем юрист, конечно же не станет заниматься, а будет жрать свой кактус "офигенного" ворда.
Ну потому что разработчики — как никто разбирается, что можно использовать вместо в тех или иных случаях. Да это не единый пакет, да на начальной стадии использования инструментов будет сложнее, но результат окупит себя. А "эффективные" работники могут продолжать веровать в велики MS Office...
McKinseyBA
Минус не от меня.
Вы мне пытаетесь рассказать о решениях в BI даже не заглянув в мой профиль) DWH, развитием которого я занимаюсь — самая большая и сложная Vertica в России. Vertica — это 1 из 2 топовых колоночных MPP платформ в мире. Hadoop же специфичная штука, очень крутая для задач хранения и обработки стриминга, однако когда возникает потребность в ad-hoc запросах к данным на 100 млрд. строк для простых аналитиков, то она не поможет. И да, предлагая кому бы то ни было Мускул в качестве DWH Вы хотя бы отдавайте себе отчет, что можете неслабо подгадить аналитикам. Только в версии >=8.0 разработчики мускула смогли полноценно реализовать оконные функции без которых аналитики будут вынуждены корячится с python вместо использования аналитических функций SQL.Весь мой комментарий относился ТОЛЬКО к возможностям топового табличного процессора Excel. Word с чужих слов.
Вот только задумался, а может и правда мне повезло работать в data driven company, где бабло делают компетентные люди которым не надо корячится обращаясь на змейке в мускул?)
В моей компании для каждой data analisys задачи есть свой оптимальный инструмент: Data Lake (Cloudera Hadoop), MPP DWH (Vertica), BI (Tableau, MS AS, SAP BO), табличный процессор (Excel). Желаю и Вам когда-нибудь поработать в топовом стеке, а если нет возможности то впитать опыт тех, кто такую возможность имеет каждый день.
webkumo
Хадуп, это в первую очередь well known бренд биг даты. Он жЫрный для таких задач, если не идёт речь о данных, с которыми может справиться одна машина… но даже так он лучше экселя. Питон+мускул — те же well-known решения. Естественно для регулярных анализов лучше хранимки в oracle/postgre (не помню, что там у MS с этим вопросом). Для быстрых — сложный запрос на тех же базах опять же будет лучше… но даже мускул с питоном — всё равно лучше экселя.
Или наоборот, не повезло, и приходится скрещивать уже с ежом еждневно.
Откуда вообще уверенность, что все работают в вашей сфере? Мне, к счастью ли, к сожалению ли, самому делать дата анализ не приходится. Ибо должность немного другая… Ваша сфера — даже до 1% кейсов использовани продуктов МСО не дотягивает, почему же вы так упорно спорти "а мне нужно"? Ну ок, вам, может быть, действительно нужно, но это как раз и входит в те 5%, которые я оценил в категории "когда действительно нужно"...
McKinseyBA
Резюмирую, все, что Вы пишете о BI-решениях в ветке о преимуществах Excel над другими табличными процессорами — рассуждения уровня BI-разработчика intern level. И выглядят как иллюстрация HR-анекдота «О вы знаете Java, нам как раз нужен JavaScript-разработчик!» За неимением предмета обсуждения желаю Вам хорошего дня!
webkumo
Нет, я рассуждаю про в среднем по больнице "проанализировать данные в эксельке". Это немного не совсем то, к чему вы в итоге вывели разговор, точнее в том числе и это, но в том числе и другие случаи, когда ваш подход менее эффективен чем полноценное решение на БД и прочих инструментах. Да и в вашем случае у меня уверенности нет, просто меня эта тема касается весьма краем...
Ну расскажите, мы поржём. Нет, честно, зачем бросаться терминами-то, которые не знаете?
У меня базовый уровень, а не "ничего не понимаете". Уровень достаточный, чтобы оценить трудозатраты + время на выполнение решения. тут надо ещё понимать, что для одноразовой аналитики ваш подход может выигрывать, а вот при регулярной почти всегда проигрывает. Вопрос в том, что лично у меня профдеформация на регулярные действия и я в первую очередь смотрю именно в сторону эффективности регулярных действий. У вас, вероятно, профдеформация в сторону одноразовых анализов.
Вот ни разу не написал о преимуществах других табличных процессоров. Можно не фантазировать? Я лишь говорил о нецелесообразности комбайна от МСО в 95% случаев.
darksshvein
>(профессиональное использование MS Word)
что такое профессиональное использование Word?
в чём профессиональность?))
для вёрстки и печати служит Latex, а это текстовый процессор.
DrPass
Вы это серьёзно? Попробуйте сейчас найти издательство, которое не принимает рукописи в форматах Word. СлабО? ;)
Вот тех, которые не работают с ТеХ, как раз пруд пруди.
Да и собственно, первейшее назначение текстовых процессоров как вида софта как раз и состоит в том, чтобы готовить документы для печати.
vikarti
А почему только опенофис? Все равно ж закупаем а раз так — чем вам Р7 Офис не нравится (который OnlyOffice но команда разработки одна и сидит в России)
Если такие уж проблемы с совместимостью что прям никак нельзя решить — либо переделать документы либо документировать эти проблемы и потребовать от разработчиков отечественных офисов их решить. А то получается — нам надо MS Office потому что надо, а конкретно почему — не скажем.
beerchaser
«Жалкое подобие левой руки...» Уж лучше ЛО!
VIPDC
НУ не знаю, все частные фирмы в которые заходил и как то видел что они используют сидят на бесплатном.
У нескольких Openoffcie, Liber. Но большинство сидят на гуглдок или яндексдок. Всё в сети, всё работает, совместная коммуникация. Конечно я понимаю что это фронт лайн, но всё же.
А в гос монополиях, нужна тупо КОМАНДА! Завтра по столу хлопнут, ногой топнут и 90% офисов в гос.компаниях будут на отечественном ПО. Некоторые компании просто не тратят деньги и сидят на 2007 офисе и не переживают.
duplodel
Не хочу вас огорчать. Команду дали. Перейти на отечественное и не#пет. Причем команду на уровне администрации города, все официально с приказами, под подпись, сроки выполнения и процент выполнения, отчет ежемесячно. Написал служебку сколько надо денег на софт и сколько на модернизацию компов, т.к. на многих хр стоит. После этого больше года с меня ничего не требуют
Sheti
ну если WinXP то туда и современный офис не встанет, да и браузер тоже.
nikolayv81
Есть такое выражение "исторически так сложилось" но это не значит что альтернативы нет.
Old_Chroft
Дополню: исторически еще и рабовладение с феодализмом складывалось. Но это не значит что альтернатив нет :-)
Там выше спорят о достоинствах/недостатках MS Office/Libre(Open)Office: и как аргумент в пользу MS приводят «совместимость» с OO. А почему они должны быть совместимы? Я где то с год назад писал комментарий: doc и docx (и xls с xlsx) сами по себе ПЛОХО совместимы. Спецификация Office Open XML (да, это ISO от Microsoft, это не ODF Alliance) занимает более 5000 страниц, как разобраться в этом?
nikolayv81
Так я с вами согласен :) кроме сравнения рабовладельческого строя с бездушной программой :)
strvv
и при этом нет референсного программного обеспечения, реализующего стандарт.
Sheti
Когда принимали закон об импортозамещении софта отчего то не думали о таких проблема. Думается мне, что вполне справедливо если сами чиновники на «отечественном» офисе посидят. Тем более видя какие они бумаги готовят, то LO вполне им подходит. В принципе и WordPad бы справился.
Vanirn
По функционалу MS Office действительно нет альтернативы. Но за свой скромный восьмилетний опыт работы в офисе, связанный с составлением коммерческих предложений, презентаций, иных документов, и что более важно — их чтением, я встречал маскмимум пару человек, кто пользовался функционалом MS Word превышающим возможности WordPad / Google Docs / Open Office.
Проще говоря — 95% будут печатать тоже самое и с таким же успехом в блокноте, и не смогут обосновать необходимость MS Word ничем другим, кроме как: «Тут кнопка сохранить находится в другом месте».
asm0dey
При всей моей любви к линуксу мы не можем называть операционные системы аналогичными по функциональности. Я 11 лет использую линукс в качестве основной ОС. Так вот: там нет лайтрума, поддержка NVidia Optimus появилась только вот в последних ядрах которых почти ни у кого нет, MS Office там не работает адекватно никогда — под wine всегда что-то глючит и подтормаживает. При это Libre Office Impress нельзя считать полноценным аналогом PowerPoint — там, кажется, минимум половины функциональности нет. И наивно предполагать что десктопный линукс настолько же дружелюбен к продвинутому пользователю, как Windows. Когда ты хочешь чего-то за рамками потребностей домохозяйки с линуксом иногда бывает тяжело это получить так, как хочется.
vadimr
Если так рассуждать, то описанные выше потребности домохозяйки лучше всего удовлетворяет macOS. Однако офис государственной организации – это ж не посиделки домохозяек. У него несколько другой профиль работы.
asm0dey
Так в этом и проблема. Хочешь чего-то за рамками тривиальных задач — нужны винда или мак часто. И покупать линукс в этой ситуации как-то глупо.
centralhardware
Когда вы в последний раз покупали Линукс?
asm0dey
Я никогда, но многие российские дистрибутивы платны. Но я, конечно же, именно в виду "брать", а не "покупать". На любых условиях
VolCh
Можно так же сотни и тысячи нетривальных задач найти, которые под виндой или макосью нормально решаться не будут. И даже если брать кроссплатформенный софт, то если изначально он был заточен под линь (или просто разработчики им пользуются), с большой вероятностью под виндой он будет работать с глюками.
С другой стороны, какие там в офисе типичной государственной организации нетривальные задачи?
asm0dey
Я не берусь судить за компанию что ей надо. Я просто говорю что если тебе под задачи лучше подходить вынь — надо брать его и я явно не тот человек, который обладает достаточными знаниями, чтобы сказать что в данном случае мы наблюдаем коррупцию, а не попытку реализовать свои потребности.
Umpiro
rassant
меня вообще убивает что наши действительно документацию на пишут.
Берём язык Котлин, так официальной документации на русском языке нет.
Берём софт от JetBrains русского интерфейса нет, документации нет.
Берём документацию на Эльбрус, она очень краткая.
А по теме русский Линукс не устанавливался на SSD диск. А вообще Линукс поставить это гемор на пустом месте найти. Баги, зависимости… ощущения что ты бетотестер.
Это как использовать vim и visual studio.
Но объективно, на Винде документация вся на русском, софт на русском. Более того можно программировать на русском в visual studio, можно функции, переменные, классы называть на русском языке...
Dolios
Не надо этих сказок. Линух ставится гораздо проще винды давно. Убунта так сразу после разметки диска дает тебе файрфокс и можно в вебе серфить параллельно с установкой оси.
Alisher-n
Полностью согласен. Людям не нужно тратить время на кривое ПО, им нужно элементарно работать. Даже если они чиновники. Почему десятка и Offce? Да потому что это банально в разы удобнее. Особенно в версии облачного 365, где интегрированное рабочее пространство введено в ранг императива. А при необходимости анализа больших данных ещё и в пару кликов подключаемо к массе служб в Azure в рамках единой экосистемы. Кто-нибудь из адептов импортозамещения когда-нибудь задумывался о вещах такого рода? А также о том, что отрыв от мировых трендов и натягивание совы на глобус нисколько не способствует, но только тормозит развитие ИТ?