Umělá inteligence by neměla být „blackbox“

Umělá inteligence potřebuje jasná pravidla, ve zdravotnictví zvlášť. Ta ale nesmějí být tak svazující, aby Evropa přestala být konkurenceschopná. „Už dnes sledujeme viditelný nárůst vzniku řešení v Číně či Jižní Americe, kde je legislativa vůči umělé inteligenci přívětivější,“ říká generální ředitel Carebotu Daniel Kvak, specialista na umělou inteligenci.

• Jaká je situace na trhu s nástroji umělé inteligence v radiologii, které už mají certifikáty v EU nebo USA?

Přestože se může zdát, že je umělá inteligence ve zdravotním segmentu všudypřítomná, pravdou je, že jsme stále spíše na počátku cesty. K loňskému roku existovalo pouze okolo třiceti řešení, která od FDA získala premarket schválení 510(k), a to se nebavíme pouze o zobrazovacích metodách, ale o všech zdravotnických prostředcích, které využívají nějakou z metod umělé inteligence, potažmo strojového učení. 

• Jak daleko je Carebot na cestě k certifikaci?

Poslední měsíce se u nás nesly ve znamení implementace všech potřebných standardů, aby Carebot odpovídal bezpečnostním a zdravotním normám. Čeká nás validace celého systému, klinické testy v nemocnicích a následně celý proces certifikace s notifikovanou osobou. Děláme vše pro to, abychom mohli v roce 2023 do nemocnic i ordinací v Česku i Evropě.

• Jaké výsledky Carebot má v přesnosti vyhodnocení rentgenových snímků plic?

Carebot dosahuje přesnosti až 0,98 v závislosti na analyzované třídě nálezu. Konkrétní výsledky nám potvrdí až klinická studie, nicméně četnost falešně negativních nálezů se drží v nízkých hodnotách. Výhodou řešení na bázi strojového učení je i možnost stanovení pohyblivého prahu citlivosti: neuronová síť tak neopomene některé výsledky, které by mohly být pro rozhodovací proces lékaře důležité.

• Nezdržuje naopak Carebot lékaře?

Carebot zrychlí a zpřesní celý proces určování diagnózy. Lékaři slouží jako doporučovací systém, třetí oko, které mu napoví, jaký nález na snímku může být, popřípadě kde je nález lokalizován. Díky přímé integraci je celý proces otázkou pár vteřin. Přirozenou cestou spolupráce je přímá integrace Carebota do PACS, samozřejmě při dodržení všech průmyslových standardů a bezpečnostních norem. Věříme, že ušetřený čas například při následných konzultacích nad snímkem pomůže nejenom méně zkušeným lékařům, ale i těm zkušenějším, pokud Carebot potvrdí jejich hypotézu. Bavíme se až o 20 procentech ušetřeného času, který lékař může využít jinde.

• Jakým směrem směřuje další vývoj?

Výhodou strojového učení, potažmo počítačového vidění, je relativně jednoduchá škálovatelnost. Samotné nasazení do klinické praxe je ovšem náročnou výzvou: firma musí disponovat obsáhlými a kvalitně anotovanými datasety, přičemž získat k nim přístup není vůbec jednoduché. Je nutné pochopit celý okruh, kde má být umělá inteligence nasazena, a to nemluvím o specifikách a standardech, které je nutné dodržovat. Aktivně v Carebotu sledujeme možnosti škálování, mimořádně zajímavý je pro nás segment CT a v budoucnu i magnetická rezonance. V tomto směru nás ale čeká ještě dlouhá cesta. Složili jsme tým lékařů, kteří nám pomáhají s popisem snímků, konzultujeme s nimi naše modely a pracujeme na tom, aby byly co nejpřesnější a uživatelsky jednoduché.

• S jakými potížemi se u nás potkává výzkum a vývoj umělé inteligence ve zdravotnictví?

Transfer technologií v tak citlivém segmentu, jakým zdravotnictví bezpochyby je, může být náročný, přičemž cesta vedoucí od výzkumu do klinické praxe je nejen zdlouhavá, ale i finančně náročná. Nehledě na to, že mnoho nejen výzkumných projektů vychází ze stále stejných, často nepřesných datasetů. Těžké je samozřejmě získat nejenom důvěru těch, kteří mají systém využívat, ale také projekt dostat do fáze, kdy bude opravdu možné ho reálně nasadit.

• Klíčové pro učení systémů umělé inteligence je získat kvalitní dataset. Jsou taková data, která by bylo pro vývojáře možné použít, dostupná?

Získat kvalitní dataset je jedna věc, získat kvalitní anotace, jež slouží pro stanovení tzv. základní pravdy (ground truth), je věc druhá. Umělá inteligence může být totiž vždy jen tak přesná, jako jsou její trénovací data. Je nutné mít na paměti, že anotace snímků musí vycházet z postoje několika lékařů, kteří musejí dospět k souhlasu. Jen tak lze minimalizovat zkreslení, které aplikace na bázi strojového učení bude nést. Veřejně dostupná data bývají často nepřesná, není možné dohledat, zda byla vůbec hodnocena experty. To může důvěru v umělou inteligenci ve zdravotnictví podkopávat.

• Jak se díváte na snahy o novou regulaci zdravotnických prostředků s umělou inteligencí v USA nebo v Evropě?

Snaha FDA sahá už do přelomu tisíciletí, kdy jsme sledovali první specifikaci počítačem podporované detekce, případně diagnostiky či triáže. Stejný posun můžeme pozorovat v rámci Medical Device Regulation i tady v Evropě. Musím zmínit, že podmínky jsou stále stanoveny spíše vágně. Přestože se mnohým firmám může regulace zdát příliš zatěžující, my ji respektujeme. Jde o lidské životy.

• Nedávno se FDA, MHRA a kanadská Health Canada pokusily pojmenovat správnou praxi pro vývoj zdravotnických prostředků s umělou inteligencí. Potřebujeme něco takového?

Umělá inteligence by neměla být blackbox, obzvláště pak ve zdravotnictví. My v Carebotu jsme velcí zastánci vysvětlitelné umělé inteligence, ať už tím myslíme možnost lokalizace nálezu, párování textového výstupu s obrazovou dokumentací, či ukázku podobných příkladů. Je ale nutné mít na paměti, že každá další regulace znamená snížení konkurenceschopnosti trhu. Už dnes sledujeme viditelný nárůst vzniku řešení v Číně či Jižní Americe, kde je legislativa vůči umělé inteligenci přívětivější. Snaha, kterou zmiňujete, dává smysl, ovšem musíme si být vědomi nějaké hranice, která by nás oddělila od inovací.