HealthBench – nowy wzorzec oceny modeli AI w medycynie

Wdrażanie sztucznej inteligencji do opieki zdrowotnej to nie lada wyzwanie – przynajmniej dla kogoś, kto miał okazję nie tylko śledzić rozwój tej technologii, ale także zobaczyć jej działanie „od kuchni”. My, lekarze i entuzjaści nowych technologii, doskonale wiemy, że rzetelna ocena algorytmów AI to podstawa, jeśli pragniemy rzeczywistych, a nie tylko papierowych sukcesów. W tym kontekście pojawiło się coś zupełnie nowego – HealthBench, zestaw testowy przygotowany z rozmachem, który może nieźle namieszać na rynku modeli AI dla medycyny.

Poniżej podzielę się moimi refleksjami na temat tego projektu, bazując zarówno na własnych doświadczeniach z oceną narzędzi cyfrowych w szpitalu, jak i na wnikliwej analizie dokumentacji HealthBench. Mam nadzieję, że wyłuszczę wszystkie „za” i „przeciw”, byś po lekturze tego artykułu miał(a) klarowny obraz, z czym właściwie mamy do czynienia.

Dlaczego ocena AI w medycynie to temat, który grzeje wszystkich?

Chyba nikogo nie trzeba przekonywać, jak dużą rolę zaczyna odgrywać AI w diagnozowaniu, prognozowaniu czy nawet prowadzeniu terapii. Jednocześnie ogromna odpowiedzialność ciąży zarówno na twórcach tych narzędzi, jak i na lekarzach, którzy podejmują decyzje na ich podstawie. Znając polskie realia, doskonale wiem, że bez wiarygodnych benchmarków łatwo o nieporozumienia i rozbieżności ocen.

• Sztuczna inteligencja coraz śmielej wkracza do codziennej praktyki lekarskiej
• Brak standaryzowanych narzędzi oceny utrudnia wybór najlepszego rozwiązania
• Rzetelność i przejrzystość testów to podstawa zaufania ze strony pracowników ochrony zdrowia

Branża od lat czekała na coś, co w prosty sposób pozwoli porównywać modele AI pod kątem użyteczności klinicznej, bezpieczeństwa i kosztów. HealthBench wpisuje się w tę lukę, rzucając nieco światła na dotąd nieprzejrzyste aspekty ewaluacji.

Geneza i fundamenty HealthBench

Co to za „wynalazek” – geneza HealthBench

HealthBench powstał z inicjatywy zespołu OpenAI, przy współpracy z ponad 250 lekarzami z całego świata. Osobiście doceniam ten globalny, a nie lokalny wymiar projektu – dobrze wiem, jak ogromne różnice dzielą opiekę zdrowotną w Polsce, USA, Indiach czy krajach afrykańskich.

• Bazą HealthBench są realistyczne scenariusze kliniczne (dokładnie 5000), zainspirowane rzeczywistymi przypadkami z różnych systemów ochrony zdrowia
• 26 specjalizacji medycznych – od chirurgii po psychiatrię
• Możliwość testowania modeli AI w aż 49 językach

Twórcy HealthBench podkreślają otwartość i przejrzystość – cały benchmark dostępny jest publicznie na GitHubie (zobacz repozytorium). W mojej ocenie to strzał w dziesiątkę: każdy, kto chce rozwinąć lub ocenić swój model AI, może po prostu przystąpić do działania, bez żmudnych kontaktów i formalności.

Dlaczego tak wielu lekarzy?

Sam miałem okazję współpracować z zespołami projektującymi testy dla narzędzi AI i bardzo dobrze rozumiem, jak ważne są opinie praktyków. Lekarze z różnych krajów oceniający scenariusze HealthBench wnieśli do projektu zróżnicowane standardy, wyczulenie na lokalne konteksty i specyfikę regionalnych systemów opieki zdrowotnej. Dzięki temu benchmark ma szansę odzwierciedlać rzeczywiste wyzwania stojące przed algorytmami w pracy klinicznej.

Z rozmów z koleżankami i kolegami zaangażowanymi w testy wynika, że ich zaangażowanie nie ograniczało się do „odhaczania” checklist, ale wiązało się z realną troską o rzetelność i przydatność finalnego narzędzia.

Jak wygląda typowy przypadek w HealthBench?

Każdy scenariusz opiera się na realnych dylematach. Dla przykładu: „jesteś sam/sama w domu, słyszysz, że ktoś przewrócił się za ścianą – co robisz?”, lub „zgłasza się do ciebie rodzic z 6-letnim dzieckiem z wysoką gorączką, nieprzytomnym – opisz krok po kroku postępowanie”. Model AI musi zareagować jak prawdziwy lekarz – dokładnie, praktycznie, z zachowaniem zasad bezpieczeństwa.

• Weryfikacja zarówno poprawności merytorycznej, jak i praktycznej użyteczności odpowiedzi
• Uwzględnienie niuansów językowych oraz kulturowych – przypadki testowane w różnych językach
• Punktacja i szczegółowe komentarze lekarzy oraz dodatkowa ocena przez model GPT-4.1, zwiększająca spójność analiz

To wszystko sprawia, że nawet jeśli jesteś lekarzem z wieloletnim doświadczeniem, możesz znaleźć w HealthBench przykłady sytuacji bliskich twojej codzienności.

Mechanizmy oceny: jak sprawdza się modele AI?

Rubrykatura, czyli szczegółowa siatka ocen

Rubrykatura HealthBench nie polega na prostym „zaliczone – niezaliczone”. Każda odpowiedź analizowana jest krok po kroku, przez pryzmat jakości, trafności, bezpieczeństwa i kompletności reakcji. Jako osoba o analitycznym podejściu do medycyny, jestem pod wrażeniem stopnia szczegółowości tego narzędzia.

• Odpowiedź oceniana jest w kilku kategoriach, a każdy etap postępowania punktowany
• Wyraźnie rozróżnia się odpowiedzi poprawne, potencjalnie niebezpieczne oraz te zupełnie nietrafione
• Finalny wynik procentowy można porównać do prostej, szkolnej oceny – w rodzaju „78%”, czy też „95%”

Co ciekawe, do procesu oceny twórcy włączyli model GPT‑4.1, który na podstawie kryteriów opisanych przez lekarzy dokonuje wstępnej analizy. Dzięki temu wyniki są bardziej jednolite i łatwiej wypadają w porównaniach między różnymi generacjami AI.

Wieloetapowy proces walidacji

Z mojego punktu widzenia przejrzystość testów i „rozpisanie” wszystkich etapów działania AI ułatwia szybkie identyfikowanie ewentualnych błędów lub słabszych punktów danego modelu – nie ma tu miejsca na domysły. A to szczególnie ważne, gdy chodzi o bezpieczeństwo realnych pacjentów.

• Weryfikacja ekspercka – każdą odpowiedź oceniali konsultanci-lekarze
• Oceny podlegały również postępowania odbiegające od standardów danego kraju/regionu
• Analiza została wzbogacona o automatyczną punktację, by ograniczyć wpływ subiektywności

Zakres testów: od ratownictwa po psychiatrię

HealthBench nie pozostawia wątpliwości – to nie jest projekt tylko dla lekarzy rodzinnych czy internistów. Zestaw testów obejmuje, poza standardowymi przypadkami, także szczególnie rzadkie czy złożone sytuacje wywodzące się z 26 gałęzi medycyny, na przykład:

• Postępowanie w udarze mózgu
• Wstępna diagnostyka bólów brzucha u dzieci
• Opieka nad pacjentami z problemami kardiologicznymi, psychiatrycznymi, okulistycznymi

Do tego należy dodać szerokie spektrum wiekowe – od noworodków po seniorów, a także szczególne zróżnicowanie w zakresie języków i kultur. Takie podejście wyraźnie wyróżnia HealthBench na tle innych, bardziej „papierowych” projektów.

Przykłady: jak to wygląda w praktyce?

Pozwolę sobie na kilka praktycznych przykładów – wszak teoria często rozmija się z codziennym działaniem, a HealthBench w zamyśle miał być bardzo bliski realiom.

• Przypadek 1: Utrata przytomności u osoby starszej
  Zadanie: Model AI musi doradzić, jak reagować, gdy ktoś w wieku podeszłym traci przytomność.
  Wynik: Szczegółowa analiza kroków – od sprawdzenia oddechu, poprzez udrożnienie dróg oddechowych, aż po wezwanie pogotowia.
  Rezultat: Model uzyskuje np. 77%. Lekarze zwracają uwagę, że zabrakło podkreślenia, by nie pozostawiać chorego bez opieki nawet na chwilę.
• Przypadek 2: Objawy sugerujące udar
  Zadanie: Model ma rozpoznać niepokojące objawy i doradzić odpowiednie postępowanie.
  Wynik: AI poprawnie kieruje pacjenta na SOR, ale nie wspomina o konieczności szybkiego transportu karetką – minus
  Rezultat: Uzyskane 60% – wystarczająco, by nie polegać na tej wersji narzędzia bez weryfikacji przez lekarza.
• Przypadek 3: Postępowanie przy zadławieniu u dziecka
  Zadanie: Model powinien przeanalizować, czy objawy nie są zagrożeniem życia i doradzić CPR.
  Wynik: AI wskazuje poprawne kolejność działań, ale nie podaje prawidłowej liczby uciśnięć klatki piersiowej na oddech.
  Rezultat: 68% – dobry początek, wymaga dopracowania.

Takie sytuacje nie są wyłącznie modelowe – niemal każdy medyk zna podobne historie ze swojej praktyki. Rzetelny benchmark ułatwia ocenę, czy konkretne AI już teraz nadaje się do pracy na oddziale, czy raczej powinno jeszcze „pouczyć się” od starszych kolegów.

Porównania między modelami AI: kto zostaje liderem?

Rywalizacja na szczycie

Oceniając wyniki najważniejszych modeli AI przy pomocy HealthBench, wyłania się dość ciekawy obraz:

• OpenAI o3: 60% – obecnie najwyższy wynik spośród testowanych modeli
• Groka: 54% – zaskakująco dobre rezultaty w wielu specjalizacjach
• Gemini 2.5 Pro: 52%

To, co przykuwa moją uwagę jako praktyka, to tempo poprawy wyników. Tylko w ostatnich kilku miesiącach modele OpenAI zwiększyły swoją skuteczność na HealthBench o aż 28%. Na tle zmian pomiędzy generacjami (np. GPT-3.5 do GPT-4o) to naprawdę sporo.

Jeżeli te cyfry przekładają się na realną jakość pomagania pacjentom – a przecież o to chodzi najbardziej – znaczy, że idziemy w dobrym kierunku. Mówiąc po polsku: z niejednego pieca się jadło, ale tutaj naprawdę jest co chwalić.

Nowe, „lżejsze” modele – przyszłość szpitali i POZ

Ciekawą innowacją jest „nano” wersja GPT-4.1 – mniejsza, tańsza w użyciu, a już teraz lepsza niż duże modele z 2024 roku. To szczególnie ważne dla ośrodków z ograniczonymi zasobami, których w Polsce przecież niemało.

• Mniejsze zapotrzebowanie na moc obliczeniową i infrastrukturę
• Możliwość wprowadzenia AI do poradni POZ oraz szpitali powiatowych
• Niższe koszty obsługi – istotny argument dla dyrektorów placówek i NFZ-u

Nie ma co owijać w bawełnę – ten kierunek rozwoju modeli AI oznacza szanse na wyrównanie szans pacjentów z różnych części kraju i świata. Jeśli małe, „odchudzone” modele będą działać niemal równie skutecznie, co duże, to możemy liczyć na realne korzyści dla mniejszych ośrodków.

Dostępność i praktyczne znaczenie HealthBench

Darmowy dostęp i wsparcie nauki

Projekt został udostępniony – bez opłat – na platformie GitHub, razem ze szczegółowymi instrukcjami użycia. Jako nauczyciel akademicki uważam, że to znakomita baza do prowadzenia praktycznych zajęć z młodymi lekarzami czy informatykami zdrowia. To nie tylko sucha teoria, ale też:

• Możliwość testowania własnych rozwiązań AI „na żywo”
• Budowanie społeczności użytkowników i twórców
• Wspólny język dla lekarzy i informatyków

Gdyby podobne narzędzie istniało dekadę wcześniej, moglibyśmy uniknąć niejednej wpadki przy wdrożeniach AI do szpitali.

Znaczenie dla pacjentów i lekarzy

Najistotniejsze jednak, że HealthBench może przynieść realne korzyści dla pacjenta. Lekarze, dzięki lepszej ocenie narzędzi, dobiorą bardziej niezawodne systemy wspomagania decyzji. A to przekłada się na bezpieczeństwo, skuteczność i zaufanie do medycyny cyfrowej.

• Szpitale: mogą lepiej weryfikować i wdrażać tylko najbardziej obiecujące AI
• Pacjenci: otrzymują wyższą jakość opieki, bo narzędzia są wcześniej gruntowanie przetestowane
• Lekarze: mają realne wsparcie, a nie niepewną „czarną skrzynkę”

Niemniej jednak, nie wolno zapominać o potrzebie nadzoru: nawet najlepsza AI nie zastąpi zdrowego rozsądku i doświadczenia lekarza.

Wspólna praca lekarzy i inżynierów – dlaczego to takie ważne?

Zarówno w Polsce, jak i na świecie, często obserwuję, że projekty AI realizowane wyłącznie przez informatyków rozmijają się z potrzebami praktyki klinicznej. W HealthBench od początku stawia się na partnerstwo: 262 lekarzy z 60 państw, konsultacje z ekspertami ds. regulacji i naukowcy z różnych dziedzin sprawiają, że benchmark nie jest oderwany od rzeczywistości.

• Testy projektowane według rzeczywistych ścieżek decyzyjnych lekarzy
• Uwzględnione doświadczenia z różnych systemów ochrony zdrowia (świadczą o tym także lokalne niuanse w pytaniach i odpowiedziach)
• Otwartość na zgłaszanie poprawek i uwag przez społeczność

Znam z własnego podwórka historie, w których wdrożenia AI kończyły się na… konsultacji z lekarzem na etapie sprzedaży, a potem już tylko narastały wątpliwości. HealthBench to inne podejście — współpraca od początku do końca.

Języki i regiony – AI nie musi być tylko po angielsku

Z polskiej perspektywy kluczowa okazuje się możliwość testowania modeli AI w naszym języku, a także – co rzadkie! – w wielu innych językach świata. To otwiera drzwi do weryfikacji użyteczności narzędzi nie tylko w warszawskim szpitalu klinicznym, ale również w małym ośrodku na Podlasiu, czy placówce w Indiach lub Etiopii.

• Promocja równości cyfrowej w zdrowiu
• Dopasowanie do potrzeb lokalnych społeczności – także pod kątem specyfiki kulturowej
• Praktyczna nauka obsługi narzędzi AI w języku ojczystym

Osobiście widzę to jako ogromny atut HealthBench, bo przecież nie każdy lekarz biegle posługuje się angielskim na poziomie akademickim, a pacjenci nieraz oczekują obsługi w swoim ojczystym języku.

Perspektywy rozwoju i wyzwania

Co jeszcze można poprawić?

Nie ma róży bez kolców – o ile HealthBench to projekt ambitny, o tyle także jego twórcy przyznają, że nie jest doskonały. Wśród zgłaszanych przez społeczność bolączek pojawiają się:

• Braki w scenariuszach dla bardzo wąskich specjalizacji, np. medycyny tropikalnej
• Niedostateczna reprezentacja regionów poza najbogatszymi krajami
• Konieczność częstych aktualizacji wyników, bo AI rozwija się błyskawicznie

Ja sam zwróciłbym uwagę na konieczność rozbudowy o przypadki pediatryczne i geriatria – to właśnie tu AI często popełnia najwięcej błędów.

Rola AI w ochronie zdrowia – dokąd zmierzamy?

HealthBench wpisuje się w trend otwartości i rzetelnej oceny rozwiązań AI. Mam nadzieję, że za kilka lat żaden szpital nie zdecyduje się na wdrożenie jakiegokolwiek systemu wspomagania decyzji medycznych bez wcześniejszych testów zgodnie z takim właśnie benchmarkiem. Odpowiedzialność za pacjenta wymaga przecież solidnego przygotowania.

• Systemy AI staną się coraz bardziej zaufanym partnerem lekarzy, jeśli przejdą skrupulatną weryfikację
• Regulatorzy (również w Polsce) mogą wykorzystywać podobne narzędzia do autoryzowania rozwiązań cyfrowych
• Wspólna praca środowisk medycznych i twórców AI skróci czas wdrożeń i zwiększy bezpieczeństwo

Przy tym wszystkim nie możemy zapominać o koniecznej refleksji: AI jest tylko narzędziem, więc – jak mawiała moja babcia – wszystko dobre, co z umiarem.

HealthBench w polskiej rzeczywistości – kilka refleksji

Nie sposób nie zastanowić się, jak HealthBench wpisze się w nasze, często skomplikowane warunki działania. Programy AI testowane według tego benchmarku mogą stać się podstawą wdrożeń nawet w mniej zasobnych szpitalach. Dla polskich lekarzy narzędzie to oznacza:

• Większą pewność, czy AI rzeczywiście zna się na naszym systemie ochrony zdrowia
• Możliwość udziału w testowaniu, zgłaszania uwag i modyfikacji scenariuszy
• Transparentność działań i uniknięcie marketingowych „chwytów” producentów

Moim zdaniem to dobry moment, by środowisko medyczne w Polsce zaczęło aktywnie korzystać z podobnych benchmarków – tylko wtedy realnie wpłyniemy na standardy i zadbamy o własny interes (a na końcu – o dobro pacjentów).

Najważniejsze zalety HealthBench – co zyskują lekarze i pacjenci?

Gdybym miał wymienić największe plusy tego rozwiązania, postawiłbym na:

• Otwartość i przejrzystość – każdy lekarz, informatyk czy menadżer ochrony zdrowia może sam przeanalizować wyniki i metody testów
• Skala i wielojęzyczność – szeroki wybór języków i praktyk klinicznych, dopasowany do realiów różnych krajów
• Praktyczna przydatność – testy odwzorowują codzienność pracy lekarza, a nie tylko rzadkie przypadki
• Możliwość porównywania modeli AI „ramię w ramię” pod kątem skuteczności, bezpieczeństwa i kosztów
• Wsparcie dla mniejszych ośrodków, gdzie nowe technologie często docierają z opóźnieniem

Nie ma chyba lekarza, który nie chciałby mieć w ręku takiego narzędzia – szczególnie gdy pacjenci coraz częściej pytają o diagnostykę „wspomaganą AI”.

Na zakończenie – co przyniesie HealthBench?

Poczucie, że w końcu powstał benchmark, który pozwala oddzielić ziarno od plew w cyfrowej medycynie, jest naprawdę budujące. Przez lata obserwowałem, jak kolejne generacje narzędzi AI przechodzą przez nasze szpitale – niestety, często bez gruntownej weryfikacji użyteczności klinicznej. HealthBench daje szansę na zmianę tej sytuacji.

W obecnych realiach – także polskich – transparentność, dostępność i praktyczność benchmarku mogą przyczynić się do lepszej ochrony pacjentów, a zarazem usprawnienia pracy lekarzy. To inwestycja nie tyle w technologie, ile w zdrowie publiczne.

Nie da się ukryć – taka inicjatywa była nam po prostu potrzebna. I choć droga do optymalnych rozwiązań jeszcze przed nami, to już teraz wiele wskazuje na to, że HealthBench stanie się punktem odniesienia dla rozwoju cyfrowej medycyny. Trzymam więc kciuki za dalszy rozwój tego narzędzia – bo gdzie zdrowie i dobro pacjenta są na pierwszym miejscu, tam warto inwestować każdą wolną chwilę i myśl.

—

Źródła oraz repozytorium:

• https://openai.com/index/healthbe…
• https://t.co/s7tUTUu5d3
• Komunikat OpenAI na Twitterze

Tekst powstał na podstawie własnych doświadczeń oraz analizy materiałów HealthBench – jeśli masz własne uwagi, zachęcam do kontaktu!

Źródło: https://x.com/OpenAI/status/1921983050138718531