Компьютерное зрение сильно продвинулось, а доля неудачных промышленных проектов почти не снизилась — это и показывает, где на самом деле кроется сложность.
Проблема лежит выше уровня модели
Когда система зрения работает плохо, первый инстинкт — улучшить алгоритм. В промышленных условиях это обычно не тот рычаг.
Освещение — главная переменная. То, что видно камере, зависит от того, как освещён объект. Контровый свет, рассеянный свет, направленный свет, структурированный свет и отдельные длины волн делают видимыми разные детали. Дефект, невидимый при одной схеме освещения, очевиден при другой, и эта разница намного больше любого улучшения алгоритма.
Оптика и геометрия важны не меньше. Разрешение на уровне детали, глубина резкости, рабочее расстояние, ракурс. Если дефект меньше пикселя, его не найдёт ни одна модель.
Подача детали. Если объект попадает в кадр в стабильном положении и ориентации, задача становится намного проще. Оснастка часто обходится дешевле, чем моделирование.
Многое из того, что решают нейросетью, можно было решить другим светом и оснасткой — быстрее, дешевле и надёжнее.
Это переворачивает привычную логику найма. Дефицитный ресурс — не ещё один инженер по машинному обучению, а человек, который умеет выстроить сцену так, чтобы нужная информация вообще попала в кадр.
Что входит в направление
Область: камеры и обработка изображений, распознавание объектов, пространственное восприятие и слияние данных с разных датчиков.
Четыре блока.
Основы формирования изображения. Камеры, датчики, объективы, освещение и физика получения пригодного изображения. Часть, от которой зависит всё дальнейшее.
Классическая обработка изображений. Фильтрация, пороговая обработка, анализ границ и связных областей, сопоставление с шаблоном, калибровка. Детерминированный, объяснимый и быстрый подход, которого достаточно для большой доли промышленных задач.
Обучаемые методы. Детекция, сегментация и классификация — для задач, которые не поддаются явному описанию.
3D и слияние сенсоров. Стерео, структурированный свет, time-of-flight и лидар, а также объединение зрения с другими датчиками — то, что впоследствии питает направления автономности.
Важно для планирования: классические методы остаются верным решением для многих промышленных задач, потому что они детерминированы и их отказы предсказуемы. Команда, которая на каждую задачу берёт обучение, построит систему, которую сложнее проверить, чем нужно.
Почему хорошее демо превращается в плохое внедрение
Пять конкретных механизмов, и все они предсказуемы.
Освещение «плывёт». Лампы стареют и тускнеют. Дневной свет меняется в течение дня и сезона. Система, запущенная зимой, ведёт себя иначе в июле. Стандартное решение — управляемое закрытое освещение, и его часто пропускают ради экономии.
Сцена загрязняется. На объективах копятся пыль, масло и туман охлаждающей жидкости. Качество падает постепенно, поэтому проблему замечают, только когда она становится серьёзной.
Продукт меняется. Новый поставщик, чуть другая отделка, другой цвет партии. Систему настраивали под то, что существовало тогда.
Вибрация и смещение позиции. Крепление камеры, сдвинувшееся хоть немного, меняет геометрию, на которую рассчитана калибровка.
Обучающие данные оказались нерепрезентативными. Собраны за короткий период, в хороших условиях, без вариативности, которую линия выдаёт на самом деле.
Все пять причин — это сдвиг распределения, то же явление, что описано в статье о медицинском ИИ в этом разделе. Система усваивает условия, в которых её строили, а условия меняются.
Для штата это означает, что постоянный мониторинг — не разовая проектная задача, а постоянная штатная функция, и кто-то должен отвечать за качество работы системы после запуска.
Где это находится в домене
Компьютерное зрение и машинное восприятие — пятое из девяти направлений в домене робототехники и автономных систем Astra Trainer. Оно лежит в основе автономного транспорта и дронов, которые зависят от восприятия, и соседствует с промышленной робототехникой, где зрение чаще всего применяют для захвата деталей и контроля.
Партнёрам, которые закрывают эту область со стороны софта, подойдёт домен ИИ, данных и вычислений — он охватывает искусственный интеллект и машинное обучение, а также науку о данных и аналитику. Реально работающее сочетание — это компетенция в оптике и обработке изображений плюс компетенция в машинном обучении, и вторая у организаций обычно уже есть. Все девять направлений — здесь.
Контроль дефектов и снова проблема базовой частоты
Самое распространённое промышленное применение и то, где результаты чаще всего читают неверно.
Контроль дефектов — задача с редким событием. На отлаженном производстве дефекты встречаются нечасто, и это меняет смысл любой цифры точности.
Если дефекты редки, а система помечает как брак небольшой процент годных деталей, среди отбракованного будет в основном годная продукция. У системы может быть отличная заявленная точность и при этом в основном ложные тревоги — из-за этого операторы перестают ей доверять и в итоге её игнорируют.
Это в точности проблема базовой частоты из статьи об эпидемиологии, и здесь она проявляется в полной мере.
Три практических следствия.
Спрашивайте о точности при реальной частоте дефектов, а не на сбалансированном тестовом наборе. Демонстрация поставщика на выборке с равным числом хороших и бракованных деталей почти ничего не говорит о поведении на линии.
Решите, какая ошибка хуже, и настраивайте систему под неё. Пропустить дефект и забраковать годную деталь — ошибки с разной ценой, и это решение бизнеса, а не техническое.
Сбор данных — узкое место. Обучаемому контролю нужно много примеров каждого типа дефекта, а на хорошем заводе дефектов мало. Команды регулярно недооценивают, сколько времени уходит на накопление рабочей библиотеки дефектов, и это самая частая причина, по которой проекты контроля буксуют.
Роли по именам
Инженеры по машинному зрению. Промышленное зрение: оптика, освещение и прикладная задача. Дефицитное сочетание.
Интеграторы систем зрения. Проектируют и запускают системы на реальных линиях.
Инженеры по компьютерному зрению. Более программная роль, в автономности и разработке продукта.
Инженеры по оптике и формированию изображения. Специалисты по части, которая решает исход.
Руководители разметки данных. Управляют разметкой, от которой зависят обучаемые системы, — роль весомее, чем её статус предполагает.
Инженеры по качеству с компетенцией в зрении. Соединяют контроль с системой качества.
Инженеры восприятия в автономных системах — здесь это направление сходится с направлениями транспорта и дронов.
Техники по обслуживанию систем зрения. Поддерживают работу после запуска, и о них почти никогда не думают заранее.
Кого можно обучить
Контролёры качества. Самый недооценённый резерв. Они знают, как выглядит дефект, какие типы дефектов важны, как они варьируются и какие из них косметические, а какие функциональные. Это именно то знание, которое нужно проекту зрения и которое не может дать инженер по машинному обучению, — и на его накопление уходят годы.
Инженеры КИПиА и автоматизации. Уже встраивают датчики в производственные системы, им не хватает только слоя обработки изображений.
Фотографы и специалисты по съёмке. Необычное, но по-настоящему удачное направление переквалификации: они интуитивно понимают свет и оптику — ровно ту половину, которой чаще всего не хватает программным командам.
Программисты. Переходят на алгоритмическую сторону, им нужен физический слой: понимание, что изображение — это измерение с зашитыми в него шумом, геометрией и освещением.
Техники по обслуживанию. Переходят к поддержке развёрнутых систем в рабочем состоянии — именно там теряется ценность.
Специалисты по метрологии и измерениям. Уже мыслят категориями калибровки, повторяемости и неопределённости измерения — это переносится напрямую.
Там, где зрение несёт ответственность за безопасность или регулируется. Зрение, используемое как функция безопасности, например для обнаружения присутствия человека при ограждении оборудования, должно соответствовать требованиям функциональной безопасности и не может собираться из компонентов общего назначения без соответствия этим стандартам. Контроль на основе зрения в регулируемом производстве, включая фармацевтику и медицинские изделия, требует валидации в рамках применимой системы качества. Обучение формирует инженерное понимание. Оно не даёт сертификации функциональной безопасности и не наделяет полномочиями на валидацию.
Что важно вынести
Большинство промышленных проблем зрения решают на уровне света, объектива и оснастки, а не модели, — и это переворачивает привычную логику найма.
Классические методы детерминированы и достаточны для многих промышленных задач, поэтому обучение на каждой задаче создаёт лишнюю сложность проверки.
Развёрнутые системы деградируют из-за смещения освещения, загрязнения, смены продукта, сдвига крепления и нерепрезентативных обучающих данных. Все пять причин предсказуемы, а мониторинг — постоянная роль.
Контроль дефектов — задача с редким событием, поэтому спрашивайте о точности при реальной частоте дефектов и рассчитывайте, что сбор данных станет узким местом.
А ваши контролёры качества владеют знанием о дефектах, от которого зависит весь проект. Фотографы, как ни странно, владеют второй половиной.
Почему промышленные проекты машинного зрения проваливаются?
Обычно проблема лежит выше уровня алгоритма. Освещение, оптика и подача детали определяют, есть ли вообще нужная информация в кадре, и никакая модель не восстановит информацию, которая изначально не была снята.
Всегда ли нужно использовать машинное обучение?
Нет. Классическая обработка изображений детерминирована, быстра и объяснима, и её достаточно для большой доли промышленных задач. Обучаемые методы нужны для задач, которые не поддаются явному описанию, и их сложнее проверить.
Почему хорошее демо не работает на линии?
Освещение плывёт, объективы загрязняются, продукт меняется, крепления смещаются, а обучающие данные редко отражают реальную вариативность. Это тот же сдвиг распределения, что затрагивает любую развёрнутую модель.
Почему точность контроля дефектов может вводить в заблуждение?
Потому что на хорошем производстве дефекты редки. Система с высокой заявленной точностью всё равно может браковать в основном годные детали, а это подрывает доверие операторов. Спрашивайте о точности при реальной частоте дефектов.
Кто лучше всего переходит в роли, связанные со зрением?
Контролёры качества, которые знают, как выглядят дефекты и какие из них важны, а также фотографы и специалисты по съёмке, которые понимают свет и оптику. Специалисты по метрологии напрямую переносят опыт калибровки и оценки неопределённости.