Компьютерное зрение в строительстве: что это такое и зачем нужно

При помощи компьютерного зрения можно распознать номера машин, превышающих скорость, или определить товар, чтобы заказать такой же на маркетплейсе. В строительной отрасли эта же технология может применяться буквально везде, но пока ее развитие находится на начальном уровне.

В статье расскажем, что такое компьютерное зрение на стройке, зачем оно нужно, и какие есть практические примеры его использования.

Что дает компьютерное зрение в строительстве

Доцент МГСУ, заведующая кафедрой «Информационные системы, технология и автоматизация строительства» Ольга Кузина выделяет шесть основных направлений для использования компьютерного зрения:

1. Мониторинг безопасности работников. Возможно, самая известная функция — распознавание строителей без касок и других средств индивидуальной защиты. Эта технология получила серьезное развитие во время ковида, когда на многих предприятиях вводили автоматизированный контроль масочного режима.
2. Обнаружение и отслеживание строительной техники. Речь идет о контроле за ее перемещениями, выявлении простоев и поломок.
3. Автоматизированный контроль качества строительных материалов. Компьютерное зрение можно использовать, чтобы, например, выявить трещины на поверхности бетонной плиты или непроектные искривления металлоконструкций.
4. Мониторинг прогресса. Технология компьютерного зрения позволяет отслеживать ход строительных проектов. Например, система может определить количество готовых этажей или стен.
5. Информационное моделирование. Камеры в здании и на дронах помогают в создании цифровых двойников зданий.
6. Обнаружение дефектов. Технология позволяет выявлять отклонения от рабочей документации, технологической карты или плана выполнения работ. В связке с ТИМ-моделью компьютерное зрение в строительстве фактически означает автоматизированный контроль за площадкой в режиме онлайн.

Как это работает

Система компьютерного зрения предполагает многоуровневый процесс распознавания и обработки. Вот основные этапы.

Получение данных. Помимо обычных видеокамер исходный массив информации могут дополнять данные с датчиков, радаров, лидаров, ультразвуковых или инфракрасных приборов. На выходе может быть как 2D, так и 3D-картинка в цвете или оттенках серого.

Предварительная обработка. Чаще всего это обычная цветокоррекция: удаление шума и искажений, улучшение контрастности, масштабирование, повторное получение изображения, если система поняла, что не может обработать данные. Создатель системы вправе задать любые условия различимости: разрешить дальнейшую обработку, только если выполнены 100% требований по качеству картинки или же допустить процент дефектов.

Выделение деталей и сегментация. Это и есть компьютерное зрение: при помощи алгоритмов система выделяет линии, границы и кромки, определяет структуру объектов, их форму, решает, движется объект или стоит. Программное обеспечение решает, какие точки важны для обработки, затем на основе этого сегментирует исходное изображение.

В результате получаются наборы точек внутри сегментов — именно так их видит алгоритм на этой стадии.

Обработка. Наборы данных сравниваются с шаблонами, чтобы классифицировать объекты. Здесь нужна классическая тренировка нейросети, ведь качество обработки зависит от качества обучения системы. Объекты помещают в рамки и приписывают им определенные классы — указывают, что вот это экскаватор, это трактор, а это — самосвал.

Строительная нейросеть понимает, что у экскаватора есть определенные габариты, стрела и гусеницы или колеса. То же самое с человеком: у него ноги, руки и туловище определенных размеров. Неважно, что перед камерой, — живой объект или болгарка, с точки зрения алгоритмов это набор точек и линий, складывающихся в определенной конфигурации.

Что на практике

В итоге добились, что система стала распознавать наличие касок и жилетов на людях, фиксировать перемещения машин и определять начало пожара — по появлению дыма или огня.

Но потом проект заморозили из-за отсутствия спроса. В 2023 году компания сообщила, что возобновила работу над нейросетью и снова изучает потребности строительных компаний.

Российский стартап BimAR пошел по другому пути и внедрил на нескольких строительных площадках систему распознавания маркировки. Компьютерное зрение работает при помощи простого телефона со специальным приложением. Любой рабочий может навести камеру телефона на ярлык на детали и узнать о ней буквально всё.

Особенность проекта в том, что это не просто маркировка, а комплексное решение. BimAR интегрируется в софт для проектирования так, что проектировщик может заранее маркировать элементы.

Фактически уже здесь создается цифровой двойник объекта, который далее можно использовать на всех этапах от изготовления деталей до их монтажа. Разработчик называет это объединением координатной среды ТИМ-проектирования с физической средой строительства.

Наибольший эффект от компьютерного зрения достигается на больших объектах. Разработки в этом направлении ведет команда платформы «Цифровое управление строительством». В планах внедрить строительную нейросеть, которая будет отслеживать соблюдение техники безопасности на площадке с помощью камер. Например, это отсутствие касок, нахождение людей в опасной зоне, нарушение правил работы на высоте и другие.

За рубежом ведутся похожие исследования. Ученые из Дрексельского университета в 2024 году опубликовали статью о возможностях компьютерного зрения для выявления дефектов бетонных поверхностей. Разработчики используют лазеры, лидар и обычные камеры, а затем сопоставляют данные. За счет такого комплексного подхода удается обнаружить практически любые дефекты, включая трещины и сколы, а дальше остается только определить, что считать критической проблемой, а за чем нужно просто наблюдать.

В планах команды — тестирование робота, который сможет без перерывов сканировать поверхности и создавать карты дефектов. По мнению разработчиков, всё это поможет избежать человеческих ошибок, а также в разы улучшит мониторинг старых объектов.

Выводы

Для рутинных операций компьютерное зрение — лучше человеческого. Машина не устает, способна ухватить недоступные глазу детали, ее можно дополнить датчиками, которые не сравнятся с органами чувств.

В промышленности машинное зрение уже отчасти заменило живых сотрудников: камеры определяют брак, считают количество продукции, считывают номера на машинах и железнодорожных вагонах, помогают следить за соблюдением техники безопасности.

Компьютерное зрение в строительстве только внедряется. Крупные застройщики проводят отдельные эксперименты, но основная перспектива технологии, вероятно, связана с ее интеграцией в ТИМ-модель, а затем и в цифровую модель здания.