Wizja komputerowa ogromnie się poprawiła, a odsetek nieudanych projektów wizyjnych w przemyśle nie spadł niemal wcale – i to mówi, gdzie naprawdę leży trudność.
Problem leży przed modelem
Gdy system wizyjny zawodzi, odruchem jest poprawianie algorytmu. W zastosowaniach przemysłowych to zwykle zła dźwignia.
Oświetlenie to zmienna numer jeden. To, co widać, zależy od sposobu oświetlenia obiektu. Podświetlenie, światło rozproszone, kierunkowe, strukturalne czy konkretna długość fali – każde ujawnia inne cechy. Wada niewidoczna w jednym układzie jest oczywista w innym, a różnica jest dużo większa niż jakakolwiek poprawa algorytmu.
Optyka i geometria liczą się tak samo. Rozdzielczość na detalu, głębia ostrości, odległość robocza, perspektywa. Jeśli wada jest mniejsza niż piksel, żaden model jej nie znajdzie.
Sposób podania detalu. Jeśli obiekt trafia w powtarzalnej pozycji i orientacji, zadanie robi się dużo łatwiejsze. Oprzyrządowanie mocujące bywa tańsze niż modelowanie.
Wiele z tego, co rozwiązuje się siecią neuronową, dałoby się rozwiązać innym światłem i uchwytem – szybciej, taniej i pewniej.
To odwraca typowy instynkt rekrutacyjny. Rzadkim zasobem nie jest kolejny inżynier uczenia maszynowego. Jest nim ktoś, kto potrafi tak ustawić scenę, żeby potrzebna informacja w ogóle znalazła się w obrazie.
Co obejmuje ten kierunek
Zakres: kamery i przetwarzanie obrazu, rozpoznawanie obiektów, świadomość przestrzenna i fuzja czujników.
Cztery obszary.
Podstawy obrazowania. Kamery, sensory, obiektywy, oświetlenie i fizyka pozyskania użytecznego obrazu. Element, który decyduje o wszystkim dalej.
Klasyczne przetwarzanie obrazu. Filtracja, progowanie, analiza krawędzi i blobów, dopasowywanie wzorców, kalibracja. Deterministyczne, wytłumaczalne, szybkie i wystarczające dla dużej części zadań przemysłowych.
Metody uczone. Detekcja, segmentacja i klasyfikacja – dla problemów, które opierają się jednoznacznemu opisowi.
3D i fuzja czujników. Stereowizja, światło strukturalne, czas przelotu i lidar, a także łączenie wizji z innymi czujnikami – to zasila późniejsze kierunki związane z autonomią.
Warto to uwzględnić przy planowaniu zakresu: metody klasyczne wciąż są właściwą odpowiedzią w wielu zastosowaniach przemysłowych, bo są deterministyczne, a ich tryby awarii przewidywalne. Zespół, który przy każdym problemie sięga po uczenie maszynowe, zbuduje coś trudniejszego do zwalidowania niż to było konieczne.
Dlaczego dobre demo staje się złym wdrożeniem
Pięć konkretnych mechanizmów, wszystkie do przewidzenia.
Oświetlenie dryfuje. Lampy się starzeją i przygasają. Światło dzienne zmienia się w ciągu dnia i sezonu. System uruchomiony zimą zachowuje się inaczej w lipcu. Zamknięte, kontrolowane oświetlenie to standardowe rozwiązanie – i często pomija się je ze względu na koszt.
Scena się brudzi. Na obiektywach osiada kurz, olej i mgła chłodziwa. Skuteczność spada stopniowo, więc nikt tego nie zauważa, dopóki nie jest już źle.
Produkt się zmienia. Nowy dostawca, nieco inne wykończenie, inny kolor partii. System był dostrojony do tego, co istniało wtedy.
Drgania i przesunięcie pozycji. Uchwyt kamery, który nieznacznie się przesuwa, zmienia geometrię założoną przy kalibracji.
Dane treningowe nie były reprezentatywne. Zebrane w krótkim okresie, w dobrych warunkach, bez zmienności, jaką linia produkuje w rzeczywistości.
Wszystkie pięć to przesunięcie rozkładu danych – to samo zjawisko opisane w artykule o AI medycznej w tym dziale. System uczy się warunków, w jakich powstał, a warunki się zmieniają.
Konsekwencja kadrowa jest taka, że stały monitoring to trwałe zadanie personalne, a nie zadanie projektowe – i ktoś musi odpowiadać za skuteczność systemu po uruchomieniu.
Gdzie to mieści się w domenie
Wizja komputerowa i percepcja maszynowa to piąty z dziewięciu kierunków w domenie robotyki i systemów autonomicznych Astra Trainer. Leży pod pojazdami autonomicznymi i dronami, które zależą od percepcji, oraz obok robotyki przemysłowej, gdzie odbiór sterowany wizją i inspekcja to dwa najczęstsze zastosowania.
Dla partnerów obsadzających to od strony software'u domena AI, danych i obliczeń obejmuje sztuczną inteligencję i uczenie maszynowe oraz data science i analitykę. Kombinacja, która naprawdę działa, to kompetencje w obrazowaniu i optyce plus kompetencje w uczeniu maszynowym, a organizacje zwykle mają to drugie. Zobacz dziewięć kierunków tutaj.
Inspekcja i znów problem częstości bazowej
Najczęstsze zastosowanie przemysłowe i to, w którym deklaracje skuteczności najczęściej są błędnie odczytywane.
Wykrywanie wad to problem rzadkich zdarzeń. W dobrze prowadzonym procesie wady są nietypowe, a to zmienia, co właściwie znaczy dowolna liczba dotycząca dokładności.
Jeśli wady zdarzają się rzadko, a system oznacza niewielki procent dobrych detali jako wadliwe, stos oznaczonych elementów będzie w większości dobry. System może mieć doskonałą deklarowaną dokładność i wciąż generować głównie fałszywe alarmy – to sprawia, że operatorzy przestają mu ufać, a w końcu go ignorują.
To dokładnie ten sam problem częstości bazowej, co w artykule o epidemiologii, i tutaj działa z pełną siłą.
Trzy praktyczne konsekwencje.
Żądaj skuteczności przy rzeczywistej częstości wad, a nie na zbalansowanym zbiorze testowym. Demo dostawcy na zbiorze z równą liczbą dobrych i wadliwych detali mówi prawie nic o zachowaniu na linii.
Zdecyduj, który błąd jest gorszy, i dostrajaj pod niego. Przepuszczenie wady i odrzucenie dobrego detalu mają różne koszty, a to decyzja biznesowa, nie techniczna.
Zbieranie danych to główne ograniczenie. Inspekcja oparta na uczeniu potrzebuje wielu przykładów każdego typu wady, a dobra fabryka nie produkuje ich dużo. Zespoły rutynowo nie doceniają, ile czasu zajmie zebranie użytecznej biblioteki wad – i to najczęstszy powód, dla którego projekty inspekcyjne utykają.
Role po imieniu
Inżynierowie wizji maszynowej. Wizja przemysłowa obejmująca optykę, oświetlenie i aplikację. Rzadka kombinacja.
Integratorzy systemów wizyjnych. Specyfikowanie i uruchamianie systemów na realnych liniach.
Inżynierowie wizji komputerowej. Bardziej zorientowani na software, w autonomii i rozwoju produktu.
Inżynierowie obrazowania i optyki. Specjaliści od elementu, który decyduje o wyniku.
Liderzy anotacji danych. Zarządzają etykietowaniem, od którego zależą systemy uczone – bardziej istotni, niż sugeruje ich status.
Inżynierowie jakości z kompetencjami wizyjnymi. Łączą inspekcję z systemem jakości.
Inżynierowie percepcji w systemach autonomicznych, gdzie ten kierunek spotyka się z kierunkami dotyczącymi pojazdów i dronów.
Technicy utrzymania systemów wizyjnych. Utrzymują skuteczność systemów po uruchomieniu – niemal nigdy nie planowani z góry.
Kogo można w to przeszkolić
Kontrolerzy jakości. Najbardziej pomijana pula. Wiedzą, jak wygląda wada, które typy wad się liczą, jak się różnią i które są kosmetyczne, a które funkcjonalne. Ta wiedza jest dokładnie tym, czego potrzebuje projekt wizyjny i czego nie dostarczy inżynier uczenia maszynowego – a zdobywa się ją latami.
Inżynierowie automatyki i sterowania. Już integrują czujniki z systemami produkcyjnymi i potrzebują warstwy obrazowania.
Fotografowie i technicy obrazowania. Nietypowa konwersja i naprawdę dobra, bo intuicyjnie rozumieją oświetlenie i optykę – czyli połowę, której najczęściej brakuje zespołom software'owym.
Inżynierowie oprogramowania. W stronę części algorytmicznej, z potrzebą warstwy fizycznej: że obraz to pomiar z wbudowanym szumem, geometrią i oświetleniem.
Technicy utrzymania ruchu. W stronę utrzymania działających systemów – tu ucieka wartość.
Personel metrologii i pomiarów. Już myślą w kategoriach kalibracji, powtarzalności i niepewności pomiaru – to przenosi się bezpośrednio.
Tam, gdzie wizja odpowiada za bezpieczeństwo lub podlega regulacjom. Wizja użyta jako funkcja bezpieczeństwa, np. do wykrywania obecności w osłonie maszyny, musi spełniać wymagania bezpieczeństwa funkcjonalnego i nie może być złożona z ogólnych komponentów bez spełnienia tych norm. Inspekcja wizyjna w regulowanej produkcji, w tym farmaceutycznej i wyrobów medycznych, wymaga walidacji zgodnej z obowiązującym systemem jakości. Szkolenie buduje zrozumienie inżynierskie. Nie nadaje certyfikacji bezpieczeństwa funkcjonalnego ani uprawnień do walidacji.
Co z tego wynieść
Większość przemysłowych problemów wizyjnych rozwiązuje się przy świetle, obiektywie i uchwycie, nie w modelu – i to odwraca typowy instynkt rekrutacyjny.
Metody klasyczne są deterministyczne i wystarczające w wielu zadaniach przemysłowych, więc sięganie po uczenie maszynowe przy każdym problemie tworzy niepotrzebną trudność w walidacji.
Wdrożone systemy degradują przez dryf oświetlenia, brud, zmianę produktu, ruch uchwytu i niereprezentatywne dane treningowe. Wszystkie pięć da się przewidzieć, a monitoring to stała rola.
Inspekcja wad to problem rzadkich zdarzeń – żądaj więc skuteczności przy rzeczywistej częstości wad i spodziewaj się, że zbieranie danych będzie ograniczeniem.
A twoi kontrolerzy jakości mają wiedzę o wadach, od której zależy cały projekt. Fotografowie, o dziwo, mają drugą połowę.
Dlaczego projekty wizji przemysłowej zawodzą?
Zwykle przed algorytmem. Oświetlenie, optyka i sposób podania detalu decydują, czy potrzebna informacja w ogóle jest w obrazie, a żaden model nie odzyska informacji, której nigdy nie zarejestrowano.
Czy zawsze trzeba używać uczenia maszynowego?
Nie. Klasyczne przetwarzanie obrazu jest deterministyczne, szybkie i wytłumaczalne, i wystarcza w dużej części zadań przemysłowych. Metody uczone są dla problemów opierających się jednoznacznemu opisowi i trudniej je zwalidować.
Dlaczego dobre demo zawodzi na linii?
Oświetlenie dryfuje, obiektywy się brudzą, produkty się zmieniają, uchwyty się przesuwają, a dane treningowe rzadko oddają rzeczywistą zmienność. To to samo przesunięcie rozkładu danych, które dotyka każdego wdrożonego modelu.
Dlaczego dokładność inspekcji wad bywa myląca?
Bo wady są rzadkie w dobrym procesie. System z wysoką deklarowaną dokładnością wciąż może oznaczać głównie dobre detale, co niszczy zaufanie operatorów. Żądaj skuteczności przy rzeczywistej częstości wad.
Kto najlepiej przechodzi do ról związanych z wizją?
Kontrolerzy jakości, którzy wiedzą, jak wady faktycznie wyglądają i które się liczą, oraz fotografowie i technicy obrazowania, którzy rozumieją oświetlenie i optykę. Personel metrologii przenosi się bezpośrednio dzięki kalibracji i niepewności pomiaru.