Компьютерное зрение в строительстве: что это такое и зачем нужно

Компьютерное зрение в строительстве: что это такое и зачем нужно

При помощи компьютерного зрения можно распознать номера машин, превышающих скорость, или определить товар, чтобы заказать такой же на маркетплейсе. В строительной отрасли эта же технология может применяться буквально везде, но пока ее развитие находится на начальном уровне.

В статье расскажем, что такое компьютерное зрение на стройке, зачем оно нужно, и какие есть практические примеры его использования.

Что дает компьютерное зрение в строительстве

Доцент МГСУ, заведующая кафедрой «Информационные системы, технология и автоматизация строительства» Ольга Кузина выделяет шесть основных направлений для использования компьютерного зрения:

  1. Мониторинг безопасности работников. Возможно, самая известная функция — распознавание строителей без касок и других средств индивидуальной защиты. Эта технология получила серьезное развитие во время ковида, когда на многих предприятиях вводили автоматизированный контроль масочного режима.
  2. Обнаружение и отслеживание строительной техники. Речь идет о контроле за ее перемещениями, выявлении простоев и поломок.
  3. Автоматизированный контроль качества строительных материалов. Компьютерное зрение можно использовать, чтобы, например, выявить трещины на поверхности бетонной плиты или непроектные искривления металлоконструкций.
  4. Мониторинг прогресса. Технология компьютерного зрения позволяет отслеживать ход строительных проектов. Например, система может определить количество готовых этажей или стен.
  5. Информационное моделирование. Камеры в здании и на дронах помогают в создании цифровых двойников зданий.
  6. Обнаружение дефектов. Технология позволяет выявлять отклонения от рабочей документации, технологической карты или плана выполнения работ. В связке с ТИМ-моделью компьютерное зрение в строительстве фактически означает автоматизированный контроль за площадкой в режиме онлайн.
Самое очевидное применение компьютерного зрения — автоматически посчитать количество рабочих в определенных зонах стройплощадки и уведомить руководителя, если есть несоответствия
Самое очевидное применение компьютерного зрения — автоматически посчитать количество рабочих в определенных зонах стройплощадки и уведомить руководителя, если есть несоответствия.
Источник: cubiccv.ru

Как это работает

Система компьютерного зрения предполагает многоуровневый процесс распознавания и обработки. Вот основные этапы.

Получение данных. Помимо обычных видеокамер исходный массив информации могут дополнять данные с датчиков, радаров, лидаров, ультразвуковых или инфракрасных приборов. На выходе может быть как 2D, так и 3D-картинка в цвете или оттенках серого.

Предварительная обработка. Чаще всего это обычная цветокоррекция: удаление шума и искажений, улучшение контрастности, масштабирование, повторное получение изображения, если система поняла, что не может обработать данные. Создатель системы вправе задать любые условия различимости: разрешить дальнейшую обработку, только если выполнены 100% требований по качеству картинки или же допустить процент дефектов.

Выделение деталей и сегментация. Это и есть компьютерное зрение: при помощи алгоритмов система выделяет линии, границы и кромки, определяет структуру объектов, их форму, решает, движется объект или стоит. Программное обеспечение решает, какие точки важны для обработки, затем на основе этого сегментирует исходное изображение.

В результате получаются наборы точек внутри сегментов — именно так их видит алгоритм на этой стадии.

Обработка. Наборы данных сравниваются с шаблонами, чтобы классифицировать объекты. Здесь нужна классическая тренировка нейросети, ведь качество обработки зависит от качества обучения системы. Объекты помещают в рамки и приписывают им определенные классы — указывают, что вот это экскаватор, это трактор, а это — самосвал.

Строительная нейросеть понимает, что у экскаватора есть определенные габариты, стрела и гусеницы или колеса. То же самое с человеком: у него ноги, руки и туловище определенных размеров. Неважно, что перед камерой, — живой объект или болгарка, с точки зрения алгоритмов это набор точек и линий, складывающихся в определенной конфигурации.

Чтобы обнаружение работало точно, нужно предварительно разметить не менее 50 объектов в каждом классе
Чтобы обнаружение работало точно, нужно предварительно разметить не менее 50 объектов в каждом классе.
Источник: conarc.ru

Что на практике

Компьютерное зрение — новая технология для строительства во всем мире. В России пока не так много примеров ее внедрения.

Так, компания Magnus Tech в 2019 году создала прототип строительной нейросети, который умеет фиксировать объекты на площадке и их перемещения и создавать дашборд с аналитикой для руководителя. Чтобы обучить нейросеть, инженеры дали ей около 20 000 изображений строительной техники — брали видео на ютубе, готовые сборки изображений и результаты поисковой выдачи.

Самые передовые информационные системы и технологии в строительстве в 2023 году
Самые передовые информационные системы и технологии в строительстве в 2024 году
Перейти

В итоге добились, что система стала распознавать наличие касок и жилетов на людях, фиксировать перемещения машин и определять начало пожара — по появлению дыма или огня.

Но потом проект заморозили из-за отсутствия спроса. В 2023 году компания сообщила, что возобновила работу над нейросетью и снова изучает потребности строительных компаний.

Magnus Tech с помощью компьютерного зрения и технологии Skeleton detection научил систему видеть мелкие движения человека. Это значит, что можно довольно легко оценить время рутинных операций, а в связке с ТИМ-моделью это дает реалистичные прогнозы по срокам строительства
Magnus Tech с помощью компьютерного зрения и технологии Skeleton detection научил систему видеть мелкие движения человека. Это значит, что можно довольно легко оценить время рутинных операций, а в связке с ТИМ-моделью это дает реалистичные прогнозы по срокам строительства.
Источник: habr.com
Прототип дашбора для руководителя от Magnus Tech. Стройплощадка поделена на сектора и, как минимум, сразу ясно, сколько техники и рабочих были в том или ином секторе в определенную дату
Прототип дашбора для руководителя от Magnus Tech. Стройплощадка поделена на сектора и, как минимум, сразу ясно, сколько техники и рабочих были в том или ином секторе в определенную дату.
Источник: habr.com

Российский стартап BimAR пошел по другому пути и внедрил на нескольких строительных площадках систему распознавания маркировки. Компьютерное зрение работает при помощи простого телефона со специальным приложением. Любой рабочий может навести камеру телефона на ярлык на детали и узнать о ней буквально всё.

Особенность проекта в том, что это не просто маркировка, а комплексное решение. BimAR интегрируется в софт для проектирования так, что проектировщик может заранее маркировать элементы.

Фактически уже здесь создается цифровой двойник объекта, который далее можно использовать на всех этапах от изготовления деталей до их монтажа. Разработчик называет это объединением координатной среды ТИМ-проектирования с физической средой строительства.

Считывание меток в BimAR. Маркер с уникальным идентификатором наносят на заводе-изготовителе. Там же прописывают номенклатуру, которая соответствует идентификатору
Считывание меток в BimAR. Маркер с уникальным идентификатором наносят на заводе-изготовителе. Там же прописывают номенклатуру, которая соответствует идентификатору
Метки можно наносить и на инструмент: здесь уже не нужно тренировать нейронку по поводу того, как выглядит болгарка. Инструмент заранее вручную размечен и теперь легко отследить, кому и когда он выдан, и когда его вернули
Метки можно наносить и на инструмент: здесь уже не нужно тренировать нейронку по поводу того, как выглядит болгарка. Инструмент заранее вручную размечен и теперь легко отследить, кому и когда он выдан, и когда его вернули

Наибольший эффект от компьютерного зрения достигается на больших объектах. Разработки в этом направлении ведет команда платформы «Цифровое управление строительством». В планах внедрить строительную нейросеть, которая будет отслеживать соблюдение техники безопасности на площадке с помощью камер. Например, это отсутствие касок, нахождение людей в опасной зоне, нарушение правил работы на высоте и другие.

За рубежом ведутся похожие исследования. Ученые из Дрексельского университета в 2024 году опубликовали статью о возможностях компьютерного зрения для выявления дефектов бетонных поверхностей. Разработчики используют лазеры, лидар и обычные камеры, а затем сопоставляют данные. За счет такого комплексного подхода удается обнаружить практически любые дефекты, включая трещины и сколы, а дальше остается только определить, что считать критической проблемой, а за чем нужно просто наблюдать.

В планах команды — тестирование робота, который сможет без перерывов сканировать поверхности и создавать карты дефектов. По мнению разработчиков, всё это поможет избежать человеческих ошибок, а также в разы улучшит мониторинг старых объектов.

Робот для контроля за бетонными поверхностями
Робот для контроля за бетонными поверхностями.
Источник: archinect.com
И карта дефектов, которую он создает при помощи компьютерного зрения
И карта дефектов, которую он создает при помощи компьютерного зрения.
Источник: https://archinect.com/news/article/150415966/drexel-university-researchers-develop-ai-guided-robotic-structural-inspection-system

Выводы

Для рутинных операций компьютерное зрение — лучше человеческого. Машина не устает, способна ухватить недоступные глазу детали, ее можно дополнить датчиками, которые не сравнятся с органами чувств.

В промышленности машинное зрение уже отчасти заменило живых сотрудников: камеры определяют брак, считают количество продукции, считывают номера на машинах и железнодорожных вагонах, помогают следить за соблюдением техники безопасности.

Компьютерное зрение в строительстве только внедряется. Крупные застройщики проводят отдельные эксперименты, но основная перспектива технологии, вероятно, связана с ее интеграцией в ТИМ-модель, а затем и в цифровую модель здания.

    Читайте также

    Видео по теме

    Вопросы ответы по теме

    Электронная книга «Руководство по внедрению цифровизации в строительстве»
    Электронная книга «Руководство по внедрению цифровизации в строительстве»
    Полезные материалы от специалистов Академии ЦУС
    Покажем на практических кейсах как работает цифровизация
    Технический заказчик при строительстве школ внедрил ЭДО и исполнительную документациию
    Технический заказчик при строительстве школ внедрил ЭДО и исполнительную документациию
    Кейс как Росводоканал внедрил ЭДО, строительный контроль и исполнительную документацию на всех стадиях строительства
    Кейс как Росводоканал внедрил ЭДО, строительный контроль и исполнительную документацию на всех стадиях строительства
    И еще 3 подробных примера реализованных проектов по цифровизации крупных заказчиков мы пришлем вам на почту