? Как инструменты ChatGPT и реверсинжениринга для форматов CAD (BIM) заменят BIM и такие концепции, как openBIM и closedBIM?

? Ответ: с помощью методов ETL (ELT), которые давно и успешно используются во всех других отраслях (видео под постом).

Для разработки проектов в CAD-программах самое важное - понять бизнес-процессы, для которых они создаются. Эффективный проект требует четко сформулированных требований к данным, включая:

◾️ Сбор данных (Extract извлечение).
◾️ Создание и проверка требований (Transform преобразование)
◾️ Загрузка в необходимые системы или форматы (Load загрузка).

Этот процесс тесно связан с процедурами ETL (Extract, Transform, Load). Во всех других отраслях (кроме строительной) ETL-процессы играют ключевую роль в обработке и анализе данных, что крайне важно для оптимизации бизнес-процессов и принятия обоснованных решений.

ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными
ETL автоматизирует повторяющиеся задачи обработки данных для эффективного анализа и манипулирования данными

Только в строительной отрасли из-за закрытого характера баз данных программ CAD инженерам, работающим в строительной отрасли, поставщики САПР предлагают маркетинговое изобретение BIM - продавая доступ к базам данных программ САПР. Данные САПР (атрибуты и геометрические компоненты сущностей проекта) - это один из ключей ко многим бизнес-кейсам. Не так давно эта информация (атрибутивная и геометрическая информация сущностей) из баз данных САПР была обзаначена специальным акронимом-BIM. BIM-методы от поставщиков САПР должны были заново изобрести процесс "сборки, визуализации, анализа и проверки данных", используя специализированные BIM-методы и BIM-инструменты.

Традиционный ручной или полу автоматизированный ETL процесс обработки данных, распространенный сегодня в строительной отрасли, предполагает наличие менеджера данных или руководителя проекта, который вручную управляет процессом и вручную создает отчеты и документы по нему. Такие традиционные методы обработки данных занимают значительное количество времени в условиях, когда рабочий день строго ограничен временными рамками с 9:00 до 17:00.

Традиционная ручная ETL обработка, ограниченна желаниями, возможностями отдельного технического специалиста
Традиционная ручная ETL обработка, ограниченна желаниями, возможностями
отдельного технического специалиста

? Теперь, благодаря инструментам реверсинжениринга, данные из CAD-программ - это просто данные, которые ничем не отличаются от данных и форматов в других отраслях. Благодаря открытым данным (с полной атрибутивной и геометрической информацией о сущностях) из баз данных САПР, мы теперь можем рассматривать любой процесс на уровне открытых данных через призму методов ETL (ELT).

ChatGPT является чемпином среди инструментов ETL и он не работает с BIM. ChatGPT прекрасно работает с Pandas (8 миллионов загрузок в день).

Таким образом, если мы переносим CAD-данные в Pandas DataFrame - мы устраняем необходимость использования BIM-инструментов

⚡️ Библиотека Pandas и формат DataFrame, благодаря своей популярности и простоте использования, стали основными инструментами для обработки и автоматизации данных в ChatGPT (версии 2023-2024). ChatGPT считает использование Pandas и Python часто используемым по умолчанию при обработке запросов, связанных с проверкой, анализом и обработкой данных. Поэтому в запросах к данным, связанных с использованием Dataframes, ошибок не возникает.

⚙️ Процесс ETL с ChatGPT (внутри Pandas) - который происходит в каждом из тысяч отдельных бизнес-кейсов любой компании - представлен в видео.

В автоматизированной версии того же рабочего процесса ETL общий процесс выглядит как модульный код, который начинается с обработки данных и перевода их в открытую структурированную форму. После получения структурированных данных автоматически, по расписанию, запускаются различные сценарии или модули для проверки изменений, преобразования и отправки сообщений. В автоматизированном рабочем процессе обработка данных упрощается за счет предварительной обработки данных ET(L): структурирования и унификации.

При традиционных методах обработки данных специалисты работают с данными "как они есть", которые извлекаются из систем или программного обеспечения. При автоматизации процессов данные с помощью ETL переводятся в структурированную, пригодную для использования форму перед обработкой.

Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека
Автоматический процесс, в отличие от традиционной ручной обработки, не ограничен желаниями и ограничениями человека

?? Репост для коллеги, который устал от BIM и готов узнать об открытых данных из CAD-программ и ETL-процессах.

?  Книга "DataDrivenConstruction. Навигация в эпоху данных в строительной отрасли"

Комментарии (6)


  1. bambruysk
    21.03.2024 13:55

    Кажется, что эту статью тоже чатГПТ писал


    1. ArtemBoiko Автор
      21.03.2024 13:55

      ChatGPT пока ничего не понимает в магическом BIM. Но часть статьи это перевод с английского (поэтому могли случайно проскочить англицизмы), пожалуйста пишите если найдёте ошибки


  1. beskov
    21.03.2024 13:55

    как дипломированный инженер САПР, начавший карьеру в ИТ именно с разработки ETL-процедур, скажу, что в статье описан бред сивой кобылы, которая не понимает разницу между инженерной моделью объекта проектирования, моделью операционного учёта бизнеса и аналитической моделью бизнес-показателей


    1. beskov
      21.03.2024 13:55

      традиционная инженерия идет по граблям инженерии программной, не пытаясь изучить, почему провалились Case-средства и model driven architecture в ИТ


      1. ArtemBoiko Автор
        21.03.2024 13:55

        В традиционной инженирии пока нет доступа к данным из баз данных CAD программ, чтобы начать идти по "граблям инженерии программной". Сегодня инженерам в строиельной отрасли приходится оперировать только теми данными, которые предоставляют CAD вендоры - это форматы, в которых аттрибутивная и геометрическая информация сущностей собраны в одном формате. Сложно начать переходить в model driven architecture - если данные находятся в проприентарных закрытых форматах.


    1. ArtemBoiko Автор
      21.03.2024 13:55

      Денис, спасибо большое. САПР это база данных в которой мы оперируем сущностями с аттрибутивными свойствами, где в САПР помимо привычных атрибутов добавляются также геометрические аттрибуты.

      На уровне ETL-процедур: чем база данных САПР программы (инженерной модели), отличается от баз данных используемых в операционном учёте бизнеса? Или какие ERP системы вы имеете ввиду?