AI medyczne wygenerowało dużą liczbę opublikowanych wyników pokazujących skuteczność porównywalną z klinicystami lub wyższą w konkretnych zadaniach. Wiele z tych wyników jest prawdziwych.
Wyniki wdrożeń są bardziej mieszane, a powody są spójne i możliwe do przewidzenia z góry. Kadra, która je rozumie, łapie problemy, zanim system dotrze do pacjenta.
Luka między publikacją a oddziałem
Zgłoszona wartość dokładności opisuje skuteczność na konkretnym zbiorze danych, zebranym w konkretny sposób, ocenionym względem konkretnego standardu referencyjnego.
Skuteczność kliniczna to to, co się dzieje, gdy system spotyka niewyselekcjonowaną populację, inny sprzęt, inną praktykę i klinicystów, którzy reagują na jego wynik w sposób, którego ewaluacja nie modelowała.
Model nie mylił się w publikacji. Odpowiadał na pytanie o zbiór danych, a szpital zadaje inne pytanie.
Presja popytu jest realna: raport Future of Jobs Report 2025 Światowego Forum Ekonomicznego wykazał, że 92 procent pracodawców w usługach medycznych i ochronie zdrowia twierdzi, że znaczenie umiejętności związanych z AI i big data rośnie w ich kadrze. Ryzyko polega na tym, że zatrudniana kompetencja to budowanie modeli, a nie ich ewaluacja.
Co obejmuje ten kierunek
Zakres: AI w radiologii i patologii, wsparcie decyzji klinicznych, analiza obrazu i walidacja.
Słowo walidacja wykonuje w tej liście najwięcej pracy, i to ta część, która najczęściej jest niedofinansowana.
Cztery kompetencje.
Obrazowanie medyczne i jego fizyka. Czym naprawdę jest obraz, jak wpływają na niego parametry akwizycji i dlaczego obrazy z różnego sprzętu różnią się w sposób niewidoczny dla ludzkiego czytelnika, a bardzo widoczny dla modelu.
Budowa modeli dla danych klinicznych. W tym specyficzne problemy: jakość etykiet, niezrównoważenie klas, wyciek danych w sposób charakterystyczny dla zbiorów klinicznych.
Walidacja kliniczna. Projektowanie badań do oceny klinicznego systemu AI, co jest epidemiologią, a nie uczeniem maszynowym.
Wdrożenie i monitorowanie. Integracja z przepływem pracy, bieżące monitorowanie skuteczności i wiedza, co robić, gdy skuteczność dryfuje.
Przesunięcie rozkładu danych, po prostu
Centralny problem techniczny, wyrażony bez żargonu.
Model uczy się z danych, na których był trenowany. Te dane pochodziły z konkretnych szpitali, konkretnego sprzętu, konkretnych populacji i konkretnych praktyk klinicznych.
Wdrożony gdzie indziej, kilka rzeczy różni się jednocześnie.
Populacja się różni. Inny rozkład wieku, inna częstość choroby, inne choroby współistniejące. Sama częstość występowania zmienia wartość predykcyjną każdego wyniku, co jest tym samym punktem o częstości bazowej z kierunku epidemiologii, i tutaj działa z pełną siłą.
Sprzęt się różni. Różne skanery, protokoły i ustawienia dają systematycznie różne obrazy. Wiadomo, że modele wyłapują cechy sprzętu, a nie patologię, i taki model może wyglądać znakomicie w walidacji, a zupełnie zawieść na innej maszynie.
Praktyka się różni. Kto jest badany, kiedy i jak ustalono standard referencyjny – wszystko to różni się między placówkami.
Czas mija. Praktyka się zmienia, sprzęt jest wymieniany, populacje się przesuwają. Model, który był dokładny w chwili wdrożenia, może się pogorszyć, choć nikt niczego nie zmienił, dlatego monitorowanie to stały wymóg kadrowy, a nie zadanie projektowe.
Wniosek kadrowy: lokalna walidacja przed wdrożeniem i ciągłe monitorowanie po nim są oba niezbędne, i oba potrzebują ludzi. Organizacje, które kupują system bez budżetu na jedno i drugie, kupiły niemonitorowaną interwencję kliniczną.
Jak to się wpisuje w domenę
AI medyczne, obrazowanie i diagnostyka to ósmy z dziesięciu kierunków w domenie medycyny i healthtech Astra Trainer. Opiera się na zdrowiu publicznym i epidemiologii w kwestii metodologii walidacji, na informatyce medycznej w warstwie danych, na patofizjologii w kwestii wiarygodności klinicznej i na urządzeniach medycznych w ramach regulacyjnych, bo AI kliniczne jest często regulowane jak urządzenie.
Dla partnerów obsadzających to od strony technicznej domena AI, danych i obliczeń obejmuje sztuczną inteligencję i uczenie maszynowe, data science i analitykę oraz cyberbezpieczeństwo. Kombinacja, która naprawdę działa, to kompetencja techniczna plus kompetencja walidacji klinicznej, a organizacje zwykle mają tę pierwszą. Zobacz tu dziesięć kierunków.
Retrospektywne to nie prospektywne
Rozróżnienie, które decyduje, czy dowody cokolwiek znaczą, a rutynowo bywa zacierane w deklaracjach komercyjnych.
Ocena retrospektywna uruchamia model na danych historycznych, gdzie wyniki są już znane. Jest tania, szybka i niezbędna, i systematycznie zawyża skuteczność w realnym świecie. Zbiór danych był kuratorowany, słabe jakościowo przypadki często wykluczano, a model może wykorzystywać wzorce istniejące tylko dlatego, jak zebrano dane.
Ocena prospektywna uruchamia model na pacjentach w miarę ich zgłaszania się, ze skutecznością ocenianą względem tego, co faktycznie się potem wydarzyło. Wolniejsza, droższa i dużo bardziej informatywna.
Ocena wpływu klinicznego zadaje pytanie, które się liczy: czy użycie tego systemu zmienia to, co dzieje się z pacjentami. Model może być dokładny i niczego nie zmieniać, bo klinicyści już to wiedzieli, albo bo wynik nie zmienia postępowania, albo bo przepływ pracy na niego nie reaguje.
Każdy krok to wyższa poprzeczka, i każdy jest znacznie rzadszy niż poprzedni. Zespół, który nie potrafi wskazać, na którym z nich opiera się dana deklaracja dowodowa, nie potrafi ocenić decyzji zakupowej.
Co znaczy dopuszczenie, a czego nie znaczy
Dopuszczenie regulacyjne czy zatwierdzenie oznacza, że urządzenie spełniło wymogi określonej ścieżki w danej jurysdykcji, na podstawie przedłożonych dowodów, dla zadeklarowanego przeznaczenia.
Nie oznacza automatycznie, że system poprawia wyniki leczenia pacjentów, że będzie działał tak, jak opisano, w twojej populacji, ani że został porównany z bieżącą praktyką.
To nie jest krytyka regulatorów. Ścieżki regulacyjne są zaprojektowane, by ustalić określone standardy, a różne ścieżki wymagają różnego poziomu dowodów. To ostrzeżenie o tym, jak dopuszczenie jest wykorzystywane w rozmowach handlowych, gdzie często przedstawia się je tak, jakby rozstrzygało kwestię kliniczną.
Organizacja potrzebuje kogoś, kto potrafi przeczytać, co faktycznie obejmuje dopuszczenie, w tym zadeklarowane przeznaczenie, i porównać to z proponowanym zastosowaniem. To konkretna i rzadka kompetencja.
Człowiek w pętli, który sam w sobie nie jest rozwiązaniem
Standardowe zapewnienie brzmi, że klinicysta przegląda wynik, więc błędy są wyłapywane.
To słabsze, niż brzmi, z powodów dobrze udokumentowanych w badaniach nad czynnikiem ludzkim.
Skłonność do automatyzacji. Ludzie mają tendencję do ulegania pewnym siebie rekomendacjom automatycznym, także gdy są błędne, i także gdy dana osoba sama zdecydowałaby poprawnie bez wsparcia.
Utrata umiejętności. Kompetencja, której się nie ćwiczy, słabnie. Recenzent, który długo nie oceniał przypadków samodzielnie, jest słabszą kontrolą niż był wcześniej.
Wolumen pokonuje przegląd. Tam, gdzie wartość systemu polega na przetwarzaniu więcej, niż mógłby człowiek, prawdziwy niezależny przegląd każdego wyniku jest z definicji niemożliwy.
Odpowiedzialność się rozmywa. Jeśli system zwykle ma rację, a odpowiedzialny jest klinicysta, klinicysta ponosi ryzyko za system, którego nie potrafi zbadać. To problem zarządzania, który trzeba rozstrzygnąć przed wdrożeniem, nie po incydencie.
Nadzór człowieka jest niezbędny i niewystarczający, a zaprojektowanie go tak, by naprawdę działał, wymaga kompetencji w zakresie czynnika ludzkiego, co łączy się z kwestią użyteczności z kierunku urządzeń medycznych.
Role po imieniu
Naukowcy walidacji klinicznej AI. Najrzadsza i najważniejsza rola tutaj, i taka, która ledwie istnieje jako nazwa stanowiska.
Naukowcy i fizycy obrazowania medycznego. Rozumieją akwizycję i to, co sprawia, że obrazy się różnią.
Naukowcy danych klinicznych z podstawami metodologicznymi specyficznymi dla zdrowia.
Inspektorzy bezpieczeństwa klinicznego dla systemów AI.
Specjaliści regulacyjni dla oprogramowania i urządzeń AI.
Specjaliści wdrożenia i przepływu pracy, bo integracja decyduje, czy cokolwiek się zmienia.
Analitycy monitorowania i skuteczności, po wdrożeniu, co jest funkcją stałą.
Kogo można w to przekwalifikować
Technicy radiologii i technolodzy obrazowania. Niewykorzystani i dobrze przygotowani. Rozumieją akwizycję, artefakty i praktyczną rzeczywistość obrazowania, a dodanie metodologii walidacji daje dokładnie tę kompetencję, której brakuje.
Fizycy medyczni. Już mają wiedzę ilościową i obrazowania.
Data scientists w ochronie zdrowia. Potrzebują metodologii epidemiologicznej i podstaw klinicznych, nie kolejnych technik modelowania.
Klinicyści z zainteresowaniem analitycznym. Mają osąd wiarygodności, który łapie problemy, jakich żadna metryka nie pokaże.
Naukowcy kliniczni w patologii i medycynie laboratoryjnej, wraz z rozwojem patologii cyfrowej.
Personel jakości i regulacji rozszerzający się na oprogramowanie i urządzenia AI.
Regulacje i odpowiedzialność. Kliniczne systemy AI są często regulowane jak wyroby medyczne, z obowiązkami opisanymi w kierunku urządzeń medycznych, a w wielu jurysdykcjach ich wdrożenie kliniczne wymaga formalnej oceny bezpieczeństwa klinicznego. Odpowiedzialność kliniczna za decyzje pozostaje po stronie zarejestrowanych specjalistów. Szkolenie buduje kompetencje walidacji i ewaluacji. Nie nadaje zatwierdzenia regulacyjnego, kwalifikacji do oceny bezpieczeństwa klinicznego ani uprawnienia do wdrożenia systemu, a żaden wynik modelu nie powinien być traktowany jako porada kliniczna.
Co warto z tego zapamiętać
Zgłaszana dokładność i skuteczność kliniczna to różne wielkości, a luka między nimi jest przewidywalna, nie tajemnicza.
Przesunięcie rozkładu danych w populacji, sprzęcie, praktyce i czasie to centralny problem, co czyni lokalną walidację i ciągłe monitorowanie stałymi wymogami kadrowymi.
Dowody retrospektywne, prospektywne i wpływu klinicznego to trzy różne poprzeczki, a większość deklaracji opiera się na pierwszej.
Dopuszczenie oznacza, że spełniono określoną ścieżkę dla zadeklarowanego przeznaczenia. To nie dowód korzyści dla pacjenta, a często przedstawia się je tak, jakby nim był.
A nadzór człowieka jest niezbędny i niewystarczający, bo skłonność do automatyzacji i wolumen oba osłabiają go z założenia.
Dlaczego systemy AI medycznego działają gorzej po wdrożeniu?
Przesunięcie rozkładu danych. Model uczy się populacji, sprzętu, wzorców praktyki i standardów referencyjnych, na których był trenowany, a wszystkie cztery różnią się gdzie indziej. Sama częstość występowania zmienia wartość predykcyjną każdego wyniku.
Czy dopuszczenie regulacyjne znaczy, że system działa?
Znaczy, że spełniono określoną ścieżkę na podstawie przedłożonych dowodów dla zadeklarowanego przeznaczenia. To nie jest równoważne dowodom poprawy wyników leczenia w twojej populacji.
Czy przegląd człowieka wystarczy jako zabezpieczenie?
Nie. Skłonność do automatyzacji sprawia, że ludzie ulegają pewnym siebie systemom, nieużywane umiejętności słabną, a tam, gdzie wartością systemu jest wolumen, prawdziwy niezależny przegląd każdego wyniku jest z definicji niemożliwy.
Kogo warto w to przeszkolić?
Technicy radiologii i technolodzy obrazowania są niewykorzystani i dobrze przygotowani, bo rozumieją akwizycję i artefakty. Data scientists w ochronie zdrowia potrzebują metodologii epidemiologicznej, nie kolejnych technik modelowania.
Gdzie to się mieści w domenie?
Ósmy z dziesięciu kierunków w domenie medycyny i healthtech Astra Trainer, oparty na epidemiologii w kwestii metody walidacji i na urządzeniach medycznych w kwestii ram regulacyjnych. Zobacz je tutaj.