Причиной отсутствия роста производительности и распространения спекуляций в строительной отрасли является качество данных, которыми оперируют участники процессов строительства. В чем основная проблема данных в строительстве? В первую очередь, в отсутствии доверия и прозрачности в системах 3D-7D, что ведёт к появлению рисков, связанных с человеческим фактором, и созданию многоуровневой бюрократии в основных бизнес-процессах строительных компаний. 

Чтобы хранить данные и передавать их между различными участниками строительства, нужно доверять CAD-корпорациям или организациям, контролирующим развитие формата IFC. Эту ситуацию можно сравнить с ранним развитием интернета, когда в сети не было надёжного шифрования и пользователям приходилось полагаться на системных администраторов (третьих лиц) для защиты своих данных. 

Сегодня при обмене данными между различными 3D-7D системами мы доверяем хранение наших данных корпорациям. Для поддержания своего влияния на строительную отрасль корпорации, которым невыгодна прозрачность и интероперабельность данных, монополизировали хранение и обработку данных. Вследствие этого поставщики основных CAD и ERP решений постоянно повышают цены за пользование своими продуктами, а простые пользователи вынуждены платить “комиссию” на каждом этапе передачи данных в системах 3D-7D: за подключение, импорт, экспорт и работу с данными, которые пользователи сами создали. 

В результате монополий и борьбы лоббистов за власть над данными строительная отрасль превратилась в устаревшую систему с низкой производительностью, где определённый процент спекуляций принимается как неизбежность. Чтобы убрать многоуровневую структуру недоверия, контроля и давления, строительным компаниям жизненно необходимы прозрачные бизнес-процессы и новые удобные форматы хранения данных.

Отдельными частями этот материал будет дополнительно опубликован на платформе Medium и на сайте, посвященном открытым данным - opendatabim.com

Заранее приношу извинения за качество схем (к сожалению Habr в отличие от Medium и LinkedIn ограничивает ширину картинки шириной статьи. В более читаемом виде схемы и картинки можно открыть через свойство изображения - "Открыть изображение в новой вкладке").

Стать на LinkedIn: Lobbyist Wars and the Development of BIM. Part 6: Reasons for speculation in the construction industry. Corporate monopolies over data.

Стать на Medium: Lobbyist Wars and the Development of BIM. Part 6: Reasons for speculation in the construction industry. Corporate monopolies over data.

Дисклеймер

В комментариях под первыми статьями серии “Лоббистские игры” (часть 1 и часть 2) меня обвиняли в маркетинговой работе на корпорацию Autodesk. В комментариях под последними статьями (часть 4 и часть 5), наоборот, сотрудники этой корпорации намекали на заказную работу против Autodesk. 

Для написания статей я не контактировал ни с одной из компаний, указанных в них. Представители упомянутых компаний контактировали со мной, задавали мне свои вопросы и писали предложения и замечания уже после публикации статей. Я не представляю интересы ни одной из компаний, и абсолютно всё, написанное здесь, - личное мнение, основанное на моем опыте и переработанной информации.

Причины низкой производительности строительной отрасли

Строительная отрасль является одной из самых зарегулированных и фрагментированных отраслей в мире, где почти каждый строительный проект является уникальным совместным произведением большого количества разнокачественных участников.

На жизненный цикл каждого строительного проекта влияет большое количество специалистов разной квалификации и разных компетенций: бюджетирования, архитектуры, статики, конструкций, смет, закупок, контроля и эксплуатации. И у каждого участника процесса строительства есть свой участок 3D-7D данных, за который он ответственен. 

Каждый участник процесса строительства ответственен за свой собственный "участок" данных
Каждый участник процесса строительства ответственен за свой собственный "участок" данных

Для того, кто занимается архитектурой и проектированием, важна 3D-модель будущего проекта. Для того, кто позже будет контролировать процессы на строительной площадке, важны в первую очередь временные характеристики элементов 4D: в какой очередности будут заказываться, доставляться и монтироваться на строительной площадке элементы проекта. Для того, кто занимается закупками, сметами и бюджетированием, важна 5D-информация: техника, материалы, человекочасы и товарные артикулы, скрытые за 3D-элементами в проекте. Эксплуатационно-технические характеристики элементов 6D-7D интересуют только специалистов, которые после окончания строительства будут заниматься эксплуатацией зданий. 

Из-за большого количества бизнес-процессов и используемых систем по работе с данными в строительных проектах компетенции специалистов из разных областей (отделов) пересекаются, что ведёт к усилению влияния человеческого фактора, дублированию информации и созданию внутренней бюрократии. 

Системы 3D-7D используемые в строительстве
Системы 3D-7D используемые в строительстве

Квалификация 3D-7D специалистов и качество информации, которой обмениваются специалисты между различными системами (CAD, MEP, ERP, CDE, ECM, CPM), в итоге прямо влияют на качество и стоимость строительного проекта, прибыль и экономическую эффективность строительной компании. 

Из-за закрытости проприетарных данных в системах и отсутствия прозрачности бизнес-процессов для всех участников, строительные проекты превращаются в квест по собиранию кусочков разноформатной информации 3D-7D от инженеров в один общий пазл.

Пазл основных систем 3D
Пазл основных систем 3D

Отсутствие в процессе создания этого пазла прозрачности данных и качественной коммуникации между отдельными специалистами привело сегодня строительную отрасль к статусу одной из самых неэффективных отраслей экономики в плане производительности. 

За последние 20 лет применения автоматизированного CAD-проектирования, новых строительных технологий и материалов производительность всей строительной отрасли выросла всего на 21%, в то время как общая производительность всех отраслей экономики - на 70% (в обрабатывающей промышленности - 96%).

Во всем мире рост производительности труда в строительстве значительно отстает от роста производительности труда в обрабатывающей промышленности или в экономике в целом.
Во всем мире рост производительности труда в строительстве значительно отстает от роста производительности труда в обрабатывающей промышленности или в экономике в целом.

Высокопроизводительными отраслями экономики сегодня являются банковская и торговая сферы, в которых инженеры оперируют в основном элементами со свойствами в виде цифр 1D (суммой договора) и временными свойствами 4D-элементов (временем договора). Взаимодействие между этими данными и бизнес-процессы в этой отрасли экономики почти полностью автоматизированы, и человеческий фактор здесь в течение следующих десятилетий сведётся к нулю

Специалисты отрасли машиностроения, помимо свойств 1D и 4D, оперируют данными о геометрии 3D, стоимости 5D, а также дополнительными параметрами по эксплуатации 6D и 7D. Хорошая взаимосвязь между данными, выработанная в 1990-е годы, и высокая типизация элементов при помощи платформ PLM (Product Lifecycle Management) позволяют машиностроителям годами массово выпускать один и тот же продукт, единожды смоделированный в 3D и настроенный в 4D-7D.

Сложность машиностроительных проектов против сложности строительных проектов
Сложность машиностроительных проектов против сложности строительных проектов

Успешные отрасли экономики смогли убрать человеческий фактор в процессах по обработке информации. Основные силы инженеров в этих отраслях сегодня брошены на создание автономных систем, работающих без участия человека: автономного вождения, роботизированных комплексов для производства машин в машиностроительной отрасли и блокчейн-технологий, смарт-контрактов и DEFI (децентрализованных финансов) в банковской отрасли.

В строительном мире главным фактором отставания производительности остаётся человеческий фактор: люди различной квалификации работают с разноформатными непрозрачными данными, созданными в программах от разных поставщиков программного обеспечения.

Последствия отсутствия прозрачных интероперабельных данных в строительстве

Основной интерес сегодняшнего строительного бизнеса, который ещё не собрал все данные в единую платформу, сосредоточен на данных о времени 4D и стоимости 5D-элементов в проекте. Эти данные собираются в процессе строительства многих проектов на протяжении всей жизни строительной компании, и наличие этих данных является главным конкурентным преимуществом любой строительной организации. На данных 4D-5D в системах ERP (Excel) выстраиваются данные о бюджетировании (размере инвестиций), закупках материалов и человеко-часах, калькуляциях работ и сметах отдельных процессов. 

До середины 2000-х 4D-5D данные можно было обработать только в дорогостоящих (в десятки и чаще в сотни раз дороже, чем CAD-программы) ERP-системах (или многоуровневых Excel таблицах), и эти данные почти никак не были связаны с данными из отделов проектирования в виде несвязанных 2D-чертежей. 

Использование систем 3D-7D в строительстве 90-х годов
Использование систем 3D-7D в строительстве 90-х годов

Отсутствие автоматических достоверных (проверенных геометрическими построениями) данных по объёмам создавало условия для спекуляций и сокрытия реальных данных в системах 4D-5D. 

Основной схемой заработка в строительстве является спекуляция на ценах материалов и работ. Завышение стоимости работ и материалов происходит при помощи “серой” бухгалтерии во внутренних закрытых 5D-системах (Excel, ERP, EPM) за счёт накручивания неких процентов сверх среднерыночной цены материала или объёмов работ. Подрядчики прибегают к закупке некачественных строительных материалов исключительно с целью сохранения своих денег в ущерб интересам заказчика.

Затеять строительство — значит выдать себя на разграбление. 

Сэмюэл Джонсон (1709—1784 гг.)

Поэтому отделы смет, калькуляций и бюджетирования сегодня тщательно охраняются от доступа посторонних специалистов даже внутри самой строительной компании.

Департамент смет и калькуляций в небольшой строительной компании
Департамент смет и калькуляций в небольшой строительной компании

Без сокрытия своей “серой” 5D-бухгалтерии сегодня почти невозможно выжить на конкурентном строительном рынке, и эту непрозрачность косвенно и прямо создавали и поддерживали корпорации, разрабатывающие системы, в которых эти данные создавались и передавались.

Современный тренд на создание 3D-моделей и появление автоматических данных по объёмам элементов вынудили менеджеров крупных компаний заниматься соединением данных из 3D-моделей и данных из уже существующего в ERP (Excel) системах 5D-классификатора (сметных позиций). В результате у строительных компаний возникла необходимость в создании интероперабельности данных и настройке связей между отдельными системами CAD, ERP, EPM, ECM конкретно под свои цели. 

Основным источником для Master Data сегодня во всех системах по работе с информацией 4D-7D являются данные по объёмам, создаваемые через моделирование элементов проекта в CAD-системах, в которых информация передаётся через закрытые проприетарные форматы (RVT, DGN, PLN и др.) или через неполный открытый формат IFC (подробнее о формате IFC в седьмой части). Непрозрачность этих форматов блокирует создание автоматизации обмена и делает почти невозможным совместную работу над общим пазлом проекта в одном интероперабельном формате данных. 

Работа с проприентарными данными в системах 3D-7D
Работа с проприентарными данными в системах 3D-7D

Поэтому доступ к дорогим и закрытым системам по обработке данных 3D-7D, а также качество и прозрачность данных определяют сегодня стоимость строительства проектов, прибыль и, как следствие, - выживаемость строительных компаний на строительном рынке.

Из-за сложности процесса экспорта и импорта данных этот трудоёмкий процесс не может выполняться простыми специалистами из отделов проектирования 3D и смет/калькуляций 5D. Качественно соединить системы CAD и ERP могут только специалисты, хорошо знающие внутренние бизнес-процессы компании и одновременно хорошо разбирающиеся в системах CAD и ERP. Поэтому в строительной сфере, в отличие от банковской или машиностроительной, для передачи информации между различными системами (CAD-ERP, FEM-CAD-HVAC, ERP-CPM, ERP-EPM) увеличивается количество менеджеров, занимающихся переносом и контролем “новых” данных.

В такой вынужденно забюрократизированной, многослойной структуре управления строительными проектами только многоуровневый контроль через дополнительных менеджеров обеспечивает качественный результат строительства без судебных тяжб и финансовых потерь. Следствием этого контроля стало создание избыточного давления на всех уровнях обработки проекта, где инженеры должны вовремя и качественно импортировать, передавать и экспортировать данные через закрытые проприетарные продукты. 

Пирамида строительства
Пирамида строительства

Корпорации CAD, поставляющие основные решения для 3D-моделирования, предлагают строительной отрасли концепцию BIM, где обменом и контролем информации должны заниматься менеджеры нового времени (BIM-менеджеры и BIM-координаторы), которые смогут извлекать данные из CAD-программ и получать интероперабельность (функциональную совместимость) между различными 3D-7D (CAD и ERP, EPM, ECM) системами.

Основы этой новой концепции CAD-BIM-ERP в строительной отрасли корпорации CAD позаимствовали у создателей MCAD-решений из уже зарекомендовавшей себя в машиностроении концепции CAD-BOM-PLM. 

Откуда и для чего появился BIM?

К началу 2000-х годов в машиностроительной отрасли уже существовали продвинутые системы по работе с данными из MCAD-программ. Благодаря конкуренции среди большого количества появившихся в 90-е систем по работе с данными, главными платформами стали PDM и PLM-решения, в которые сегодня стекается информация от специалистов, работающих в программах CAx (Computer-aided technologies): CAD, MCAD, CAID, CAPP, CIM, CAE, SCADA.

Системы по управлению данными в машиностроении
Системы по управлению данными в машиностроении

Большое значение в управлении данными в машиностроении играет понятие BOMs (A Bill of Materials). Это список материалов или спецификация, где верхний уровень BOMs представляет собой готовый продукт, который может быть узлом или законченным элементом. Спецификации, описывающие узлы, называются модульными BOMs. Использование BOMs для управления проектами снижает риски ошибок и переделок, устраняя повторное использование устаревших данных.

BOM-менеджмент - комплексное управление структурой продукта, обеспечивающее полную цифровую ассоциативность проектирования, цепочки поставок, производства, продаж и обслуживания.

CAD-BOM-PLM менеджемнт в машиностроительных проектах
CAD-BOM-PLM менеджемнт в машиностроительных проектах

Значительный вклад в создание этих систем внесли автомобильные и машиностроительные компании, которым было необходимо с появлением первых 3D CAD-программ связать процессы проектирования с процессами производства и эксплуатации 4D-7D. Основную роль в 1990-е годы в этих системах сыграли данные, которые создавали пользователи продукта компании PTC - Pro/ENGINEER, ставшей к середине 1990-х основной программой проектирования всей машиностроительной промышленности: ее клиентами стали BMW, Fiat, Ferrari, Toyota, Hyundai, PSA и Volkswagen, Caterpillar, John Deere и остальные крупные игроки мировой промышленности.

Разработчики программы Pro/ENGINEER от компании PTC первыми создали программное обеспечение CAD для параметрического моделирования твердых тел и первыми разработали концепцию единой модели данных для всего проекта, чем произвели революцию на рынке MCAD (программного обеспечения для автоматизированного проектирования механических устройств). Параметрическое моделирование на основе элементов, взятое за основу в Pro/ENGINEER, доминировало в отрасли на протяжении четверти века, и все ведущие системы MCAD (CATIA, NX, SolidWorks, Inventor и Solid Edge) стали идейными преемниками Pro/Engineer.

За компанией PTC и продуктом Pro/ENGINEER стояли профессор математики Самуэль Гайзберг и его ученик Леонид Райц из Ленинградского государственного университета (Санкт-Петербург), эмигрировавшие из Советского Союза в Америку в 1970-е и 1980-е годы (во время новой волны репатриации в результате Шестидневной войны 1967 года).

После ухода из PTC Леонид Райц, создавший в конце 1980-х геометрическое ядро для программы Pro/Engineer, создает в 1997 году новый стартап Revit, перенявший лучшие наработки MCAD Pro/ENGINEER и направленный на удовлетворение потребности строительной отрасли в параметрическом моделировании с модульной концепцией BOMs.

В то время как машиностроители уже работали в платформах PDM и PLM, в строительных компаниях конца 1990-х годов были только решения 2D CAD и отдельные решения 5D ERP. Данные из CAD, создаваемые в основном в 2D продукте Autodesk - Autocad, почти никак не использовались в работе с данными 5D, которые создавались в отделах смет, калькуляций и бюджетирования. 

Системы управления данными в машиностроении и строительстве в начале 2000х годов
Системы управления данными в машиностроении и строительстве в начале 2000х годов

Следя за успехами разработчиков MCAD, корпорация Autodesk без значимых успехов пыталась построить свой продукт параметрического моделирования на базе существующего продукта Autocad (AutoCAD Architectural Desktop), купленных решений (Sofdesk, CAiCE Software) и при помощи переоформленного на себя формата IFC. После неудачных попыток купить MCAD стартап Solidworks (от бывших инженеров PTC), в 2002 году Autodesk покупает стартап Revit у бывшего работника PTC - Леонида Райца - за 133 млн долларов. 

Программа Revit, с её машиностроительным прошлым, стала кардинально новой CAD-системой в портфеле Autodesk, что подарило корпорации возможность раскрыть наконец тему BOM-PDM-PLM-ERP для всей строительной отрасли. 

Чтобы провозгласить приход новой эры данных и новых процессов в строительный бизнес, вице-президентами Autodesk был написан Whitepaper BIM. По логике новой BOM-BIM концепции, вся информация, которая до этого хранилась в разных ERP-системах, теперь должна переноситься в CAD-программу (Revit), где 3D-элементам модели внутри CAD-программы будут добавляться новые (в основном текстовые) свойства.

Уже через 10 лет после публикации Whitepaper BIM, к 2010 году, Revit стремительно завоевал рынок CAD во всём мире (кроме некоторых стран Европы).

Но со времени покупки стартапа Revit в 2002 году в течение следующих 10 лет Autodesk, к сожалению, не смог развить концепцию BIM до готового продукта по работе с данными 4D-7D или работающего аналога продуктам PDM, PLM от компании PTC. 

В целом большие корпорации на рынке CAD пошли по стопам MCAD решений 1990-х годов и начали работать над созданием многопрограммных Closed BIM окружений, в которых клиенту не нужны будут решения сторонних разработчиков.

В это же время менеджеры в отделах проектирования, начав получать первые “cупер данные” BIM-BOM (геометрии, текстовые свойства элементов и спецификации), приходят к необходимости самостоятельно связать уже существующие системы ERP и CAD при помощи BIM-BOM данных, не дожидаясь решений от Autodesk.

Наступает середина 2010-х и тысячи частных инвесторов со всего мира пытаются зайти в BIM и PropTechs рынок (Property technology - Технология недвижимости). Продвинутые менеджеры больших строительных компаний (со скиллами программирования) уходят в стартапы, где при помощи создания подключения к данным CAD планируют полностью заменить устаревшие строительные 5D ERP-ECM решения в уже настроенных бизнес-процессах строительных компаний.

В наше время благодаря золотой лихорадке, возникшей из-за роста данных в строительной отрасли, каждый день появляются новые проприетарные (по большей части построенные на идеях коммьюнити и Open Source решениях - про это в следующей части) стартапы, которые хотят работать с данными из CAD-систем. 

Только за 2020 год в стартапы PropTechs было инвестировано 19,9 млрд. долларов (для сравнения Autocad был продан Autodesk за 1$ и 10% c продаж, а Revit - за 133 млн. $).

Стартапы, работающие в сфере недвижимости (REIO - Real Estate Innovations Overview)
Стартапы, работающие в сфере недвижимости (REIO - Real Estate Innovations Overview)

В итоге отсутствие на рынке готовых решений и рост объёма данных в строительстве привели к неравной конкуренции между крупными CAD-корпорациями, строительными компаниями и стартапами за право на владение данными и их обработку в $10 триллионах новых строительных договоров каждый год.

Образование монополии на рынке данных 

К сожалению, разработчики любых CAD-BIM-BOM-PDM-PLM-ERP решений сталкиваются с написанным ещё в 90-е Legacy-кодом основного продукта (Archicad, Revit, Tekla Structures), где даже самые опытные разработчики тратят сотни часов тестов для отладки одной строчки кода.

Legacy-код - монстр Франкенштейна, который вроде как ещё работает, но плохо, а новый код, имеющий потенциал, не может его развить из-за беспорядка в унаследованной кодовой базе.

Проблемы внешних сервисов, взаимодействующих с купленным в 1990-е Legacy-кодом, не сильно волнуют большие корпорации, которые являются владельцами данных и которые сконцентрированы на создании собственных, “по-настоящему проверенных”, 3D-5D Closed BIM инструментов.

3D-7D решения больших корпораций
3D-7D решения больших корпораций

При прозрачном и интероперабельном доступе к данным всю информацию из проектов можно будет беспрепятственно перенести и автоматизировать при помощи внешних сервисов, баз данных и ERP систем. Но в таком случае такие Сlosed BIM экосистемы перестанут нести смысл, а 3D CAD-решения станут ограничиваться только функциями создания геометрии, чего корпорации и управляющие инвестиционные фонды допустить не могут.

Создавать подобные закрытые окружения корпорации вынуждает необходимость поддержания стабильных показателей по квартальной прибыли. 

Настоящими хозяевами больших корпораций, добывающих нефть нового времени - данные, являются инвесторы из большой финансовой пятёрки инвестиционных фондов, которым важен ежеквартальный рост и которые не могут позволить своим протеже потерять монополию на добычу ценной информации. 

Процентное владение акциями компаний BlackRock и Vanguard в компаниях CAD
Процентное владение акциями компаний BlackRock и Vanguard в компаниях CAD

Поэтому удержание монополии над данными является основой политики больших вендоров 3D-решений, что позволяет изменять модели лицензирования и повышать цены на свои продукты. Фирмы, участвовавшие в опросе (из письма архитекторов к Autodesk), утверждают, что только за период с 2015 по 2019 год их затраты на лицензирование продуктов Autodesk увеличились на 70 процентов

Вендоры CAD-решений не готовы к бесплатной передаче “своих” данных, и, чтобы создать иллюзию доступа и возможности подключения к этими данным, они навязали своим клиентам достаточно непростые способы хранения информации и доступа к ней, что позволяет им перетянуть инициативу в обработке мастер-данных на свою сторону проприетарных решений.

Хранение информации в CAD-программах

CAD-корпорации мира при помощи агрессивного маркетинга (до 50% бюджета компаний) доказывают строительной отрасли, что инструменты для создания 3D-7D данных хорошо (будут) реализованы именно в их программах (Archicad-Nevaris, Autodesk-BIM360, Bentley-Synchro). 

Чтобы не раздражать большой рынок сторонних приложений и инвесторов в BIM и PropTechs стартапы, вендоры CAD-решений “вынужденно” создают подключение к своим проприетарным данным в 3D-решениях через API-запросы, ODBC или сторонние плагины. 

Внутри собственных экосистем в Сlosed BIM решениях данные передаются через базы данных, и почти всё, что в строительной отрасли связано с данными 3D-7D сегодня также переводится в формат баз данных, что принято называть работой с BIM-данными. 

Поэтому большинство систем 4D-7D по управлению данными сегодня работают с реляционными базами данных RDBMS (relational database management system): MS SQL, MySQL, PostgresSQL, Oracle, MS Access. 

SQL (structured query language — «язык структурированных запросов») — декларативный язык программирования, применяемый для создания данных, их модификации и управления ими в реляционной базе данных (RDBMS).

Чтобы сделать возможным подключение к внешним сервисам (базам данных) и своим внутренним сервисам из Сlosed BIM окружения, разработчики CAD-программ стараются переводить данные в формат SQL-таблиц. 

Хранение данных в SQL

Основное преимущество таблиц SQL перед другими видами хранения информации в поддержке очень больших размеров баз данных с высокой скоростью обработки запросов. Также SQL прекрасно интегрируется с веб-приложениями и другими инструментами по работе с данными. В 4D-7D и ERP системах данные уже давно были сохранены в табличных SQL базах данных, но данные из CAD в виде 3D-геометрии до недавнего времени были заточены только на работу с визуализацией и с трудом хранились в табличном и текстовом виде. 

Одной из первых реализаций хранения геометрической информации в табличной форме, с созданием базы данных SQL, стал проект Postgres.

Postgres - первопроходцы хранения данных из CAD в SQL

Мотивирующим примером для разработчиков Postgres в начале 80-х годов стала потребность поддержки базами данных инструментов автоматизированного проектирования (CAD) для микроэлектронной промышленности. 

В статье 1983 г. Стоунбрейкер (основатель проекта с открытым исходным кодом Postgres) и его студенты объяснили, насколько отрасль CAD (автоматизированного проектирования) нуждается в поддержке новых типов данных, таких как многоугольники, прямоугольники, текстовые строки, а также “эффективного пространственного поиска, проектных иерархий и множественных представлений” в одних и тех же физических конструкциях.

История создания проекта PostgreSQL
История создания проекта PostgreSQL

К сожалению, инициатива разработчиков Open Source проекта Postgres возникла на 20 лет раньше, чем появились CAD-программы с возможностью создания этих данных. И так как Postgres всегда был проектом с открытым исходным кодом, длительное время он был нацелен только на использование в исследованиях, а не на производстве. 

Хотя система PostgreSQL является сегодня самой популярной независимой системой баз данных с открытым исходным кодом и четвертой по популярности системой баз данных, большинство разработчиков CAD-программ предпочитают сегодня использовать базы SQLite и Microsoft SQL.

История развития SQL
История развития SQL

Revit - база данных в графическом представлении

Аббревиатура BIM (Building Information Modeling) является маркетинговым изобретением корпорации Autodesk; обозначает методы работы с данными, которые создаются при работе с 3D-решением Revit.

Продукт Revit, главная программа последних 20 лет для проектирования и создания BIM-данных, является по сути базой данных элементов модели в графическом представлении (набором стримов данных), создающих таким образом информационную модель BIM. 

При использовании Revit Server можно заметить, что связь программы с данными проекта проходит через формат db3, что указывает на использование реляционной СУБД - SQLite - для связи с некоторыми внутренними сервисами.

История развития SQLite
История развития SQLite

Из всех возможностей по интеграции с внешними сервисами Autodesk позволяет только выгрузить закрытые в проприетарном формате RVT-данные при помощи плагинов, через подключение API или выгрузки данных в ODBC. 

ODBC (англ. Open Database Connectivity) — это программный интерфейс (API) доступа к базам данных.

Открытие доступа неполного инструментария API к функциям Revit дало толчок развитию решений, позволяющих работать через запросы API с программой Revit: Grasshopper, Dynamo, pyRevit, Forge.

API (Application programming interface) — описание способов, которыми одна компьютерная программа может взаимодействовать с другой программой.

Цель таких плагинов и драйвера ODBC состоит в том, чтобы позволить данным выглядеть так, как если бы пользователь обращался к базе данных SQL. 

 

Создание ArchiCAD и Tekla инструментов API

Виртуальный строительный проект в ArchiCAD представляет собой сегодня базу данных, к которой можно делать SQL-запросы через ODBC-драйвер и получать любую необходимую информацию по проекту, структурированную в виде таблиц. Возможность выполнять SQL-запросы в ArchiCAD реализована в программе начиная с версии 7.0 2001 года. 

База данных ArchiCAD (как и продукт Revit) использует проприетарный формат, поэтому обеспечение доступа через ODBC требует серьезных усилий по разработке. 

База данных ArchiCAD состоит из таблиц 2-3 уровней подчинения со сложной схемой индексации. При открытии контейнера объекта в ArchiCAD открывается доступ к редактированию составляющих его скриптов, куда без знания азов внутреннего языка ArchiCAD - GDL (языка графического описания) - лучше не входить. Опытные программисты могут добраться до доступа к чтению и записи данных проекта только через программирование на C/C++ и при помощи неполного API ArchiCAD. 

SQL запросы в графическом формате
SQL запросы в графическом формате

Разработчики Archicad также работали над проектом по созданию ODBC-SQL-ArchiCAD с возможностью взаимодействовать с другими программами CAD. Подобные взаимодействия должны были помогать при помощи CAD-программы связывать архитекторов, проектировщиков, конструкторов, сметчиков в единую систему. Но проект закрыли, возможно, из-за очевидных ограниченных возможностей работы с другими CAD-программами. Текущий план разработчиков Archicad состоит в том, чтобы предоставить своего рода BIMcloud API, где можно получить доступ к данным проекта в формате IFC.

С сайта Nemetchek.com. Приставка known as BIM (BOM) появилась на сайте после 2005 года
С сайта Nemetchek.com. Приставка known as BIM (BOM) появилась на сайте после 2005 года

К базе данных Tekla (Tekla Structures) так же, как и у других основных CAD-решений, нет прямого доступа. В 2020 году Tekla разработала на фреймворке Microsoft.NET открытый API, что позволяет теперь сторонним разработчикам писать свои приложения на языке C# для работы с данными из программы Tekla Structures. Но, как и в случае с Revit API или Archicad ODBC, Tekla API работает как урезанный набор инструментов для воздействия на программу. 

Проблема интероперабельности данных в строительной отрасли

Через использование проприетарных форматов CAD-вендоры сегодня не дают доступ к данным 3D, которые пользователь сам создал в программах. Прямая передача полной информации из модели 3D в решения 4D-7D сегодня невозможна и, чтобы дать хоть какой-то доступ к данным, корпорации предлагают подключение к “неструктурированным массивам данных” через инструменты: ODBC, плагины, сервисы c подключением через API (к внутренним функциям программ) и неполный формат данных IFC.

Подключение к CAD программам через API запросы
Подключение к CAD программам через API запросы

Неработающие подключения к данным через плагины и API

При выгрузке информации через плагины и API обычно выгружаются только системные параметры (чаще base quantities) и свойства элементов без геометрии, что не позволяет использовать данные автономно в других 4D-7D системах (например, ERP, ECM, EPM). 

Подробнее о том, какие данные необходимы на этапе 4D-7D систем, поговорим в следующих статьях.

В целом инструменты ODBC и API от вендоров не дают полный доступ к данным, а смысл их свёлся к тому, чтобы изолировать внешнего пользователя от базы данных всех свойств элементов, которые были созданы в процессе проектирования.

Попытка понять API документацию в CAD программе
Попытка понять API документацию в CAD программе

Корпорации, имеющие власть над данными, не готовы потерять контроль над своими клиентами, из-за чего большинство специалистов, которые пытаются получить информацию по объёмам из моделей, сегодня вынужденно разрабатывают собственные плагины для подключения к данным в 3D-решениях и таблицы Excel для связи полученных данных (без геометрии) с существующими 4D-7D решениями. 

При этом один раз настроенный экспорт данных через ODBC или плагин не даст уверенности в том, что на следующий год, после выхода новой версии CAD-программы или обновления API библиотек, связь с внутренними базами данных CAD-программы будет работать по тем же правилам, что и в предыдущих версиях.

В итоге строительная отрасль страдает от монополии корпораций над данными, в результате чего закрытая информация об элементах, сохранённая в проприетарных форматах, отражается в многомиллиардных просчётах по срокам и стоимости строительства проектов.

Гегемонию Autodesk над данными пытаются разбавить разработчики из европейских CAD-корпораций, которые после стремительного взлёта популярности Revit воскрешают похороненный Autodesk проект IFC - де-юре прозрачный и интероперабельный формат данных.

Подробнее о проекте IFC, решении opendatabim.com, существующих и предлагаемых решениях этой проблемы мы поговорим в следующей - седьмой части.

Буду рад любым комментариям, уточнениям и критике и буду благодарен за репост в социальных сетях.

Схемы указанные в статье в хорошем качестве доступны по ссылке (доска Miro)

Предыдущие статьи по теме:

Комментарии (8)


  1. dom3d
    27.09.2021 17:21
    +3

    Спасибо за статью, которая меня очень порадовала.

    Моя программка используется в одном предприятии (реклмное производство) для создания техпроцессов, нормирования труда и материалов а также ведения учета трудозатрат. И есть гармоничная взаимосвязь с 3D.


    Не думал, что так все плохо в строительстве. Очень часто упоминается Exel.
    Это примерно, как в наше время использовать счеты в банковском деле.


    1. ArtemBoiko Автор
      27.09.2021 19:56

      Спасибо, да, к сожалению в строительстве очень много вариативных процессов, которые сложно унифицировать и стандартизировать. Всё это не даёт возможности автоматизировать поток данных. А Excel - это к сожалению или к счастью самый доступный инструмент, который хоть как то позволяет уменьшить уровень хаоса в процессах.


  1. trir
    27.09.2021 19:47

    IFC такой же открытый формат, что и Html


    1. ArtemBoiko Автор
      27.09.2021 19:52

      Трир спасибо, об этом подробнее в 7 части. Изначально планировалось, что информация по "открытости" IFC будет опубликована в 6 части, но это сделало бы статью в два раза больше. Поэтому в следующей части будут перечислены все основные моменты, которые мешают называть IFC прозрачным и открытым форматом.


  1. trir
    27.09.2021 22:19

    В САПР данные по большей части Графовые, и в реляционные таблицы они плохо укладываются


  1. tachidi
    28.09.2021 13:43

    Статью нужно читать под саундтреки из X-Files.


  1. EvgeniyIvanovhabr
    28.09.2021 19:45

    Немного личного опыта, как конечного потребителя. Когда покупал квартиру два года назад, в брошюре и на сайте очень крупный и известный застройщик гордо указывал, что дом проектируется и возводится с помощью BIM. Изначально были указаны все размеры до миллиметра и в договоре не было привычных допусков по площади в + и - которые не оплачиваются.

    Менеджер заверил, что благодаря BIM никаких расхождений в итоге просто не может быть. Договор подписали.

    В итоге, после окончания строительства, моя квартира-студия 28,5 кв метров увеличилась до 31 кв. метр, у многих прибавилось ещё больше. Доплаты за квартиры доходили до полумиллиона рублей, без них, разумеется, ключи не выдавали.

    Вот как такое возможно при проектировании и строительстве с BIM у крупного застройщика? Ходят предположения, что это было сделано намеренно, чтобы вписаться в нормативы – там четыре огромных дома на крохотном клочке земли. Или чтобы изначально занизить стоимость квартир и сделать их более привлекательными.


    1. trir
      10.10.2021 16:42

      Главная задача BIM-менеджера - что бы в рабочей документации площади остались такой же, что и в проектно - но не получается