Skuteczny nadzór nad działaniem modeli wymaga walidacji, monitorowania i jasno określonej odpowiedzialności. Dotychczasowe praktyki zarządzania ryzykiem modeli należy dostosować do specyfiki działania generatywnej i agentowej AI. Powinny one jednocześnie budować zaufanie i zapewniać zgodność z wymogami regulacyjnymi, wspierając podejmowanie właściwych decyzji.
Oczekiwania regulacyjne w Unii Europejskiej i Wielkiej Brytanii stają się coraz bardziej zbieżne. Systemy AI mają spełniać standardy dotyczące możliwości wyjaśnienia i prześledzenia sposobu ich działania, zasad zarządzania oraz nadzoru człowieka. Proponujemy ramy zarządzania ryzykiem modeli opracowane z myślą o tych oczekiwaniach. Obejmują one weryfikację prawidłowości zachowania systemu, możliwość poddania go audytowi oraz mechanizmy kontrolne, dzięki którym instytucje mogą bezpiecznie rozszerzać wykorzystanie modeli AI.
Przedstawione ramy opierają się na uporządkowanym, kompleksowym podejściu do walidacji, obejmującym jakość i bezpieczeństwo danych, testowanie zachowania systemu, ocenę wyników, udział człowieka w procesie, ciągłe monitorowanie oraz mechanizmy działań naprawczych.
Nowa generacja systemów AI
Tradycyjne modele uczenia maszynowego koncentrują się na prognozowaniu statystycznym: szacowaniu prawdopodobieństwa, klasyfikowaniu wyników lub wykrywaniu wzorców w danych ustrukturyzowanych. Zazwyczaj generują wyniki liczbowe i są oceniane przede wszystkim za pomocą ilościowych mierników jakości działania. Nowoczesne systemy AI wykraczają jednak poza modelowanie predykcyjne. Łączą duże modele językowe (LLM) z funkcjami takimi jak wnioskowanie, wyszukiwanie informacji, planowanie i korzystanie z zewnętrznych narzędzi. W rezultacie działają bardziej jak asystenci analityczni niż tradycyjne modele statystyczne. W tym artykule koncentrujemy się na takich systemach AI, które zazwyczaj obejmują dwa kluczowe komponenty:
Generatywną AI: systemy służące do tworzenia treści, podsumowań i objaśnień w formie tekstowej.
Agentową AI: systemy, które potrafią realizować cele, podejmować decyzje w wieloetapowych procesach, korzystać z narzędzi, wyszukiwać informacje i, w niektórych przypadkach, działać z pewnym stopniem autonomii w celu wykonania zadań.
Generatywna AI
Generatywna AI zapewnia podstawowe funkcje nowoczesnych systemów sztucznej inteligencji. Modele te dobrze sprawdzają się w tworzeniu spójnych tekstów wysokiej jakości: podsumowywaniu dokumentów, porządkowaniu materiałów źródłowych, redagowaniu notatek analitycznych i przystępnym objaśnianiu złożonych zagadnień. Ich mocną stroną są interpretacja i dokumentowanie, a nie wykonywanie takich zadań jak obliczenia czy uzupełnianie brakujących danych na podstawie wnioskowania. Zwiększają efektywność pracy człowieka, ale nie zastępują jego oceny.
Agentowa AI
Agentowa AI rozszerza możliwości generatywnej AI o tworzenie uporządkowanych planów oraz dobór i wykorzystanie narzędzi. Dzięki temu może samodzielnie wykonywać kolejne etapy zadania i wyciągać wnioski z uzyskanych rezultatów. Z perspektywy zarządzania ryzykiem modeli oznacza to dodatkowe wyzwania: określenie granic działania modelu, ustalenie zasad udostępniania narzędzi i sprawdzanie poprawności wyników.
Choć generatywna i agentowa AI są odrębnymi typami systemów, na potrzeby walidacji można przyjąć, że generatywna AI stanowi podstawę pozbawioną autonomii, którą rozszerza się o agentowe funkcje podejmowania decyzji i wykonywania działań.
W procesach sektora usług finansowych często występuje kilka rodzajów komponentów systemów agentowych. Każdy z nich wiąże się z odmiennymi zachowaniami i ryzykami, które należy objąć walidacją. Są to:
Agenci planujący, którzy dzielą zadania na uporządkowane etapy i ustalają kolejność działań.
Agenci wyszukujący, którzy odnajdują informacje w dokumentach lub bazach danych.
Agenci korzystający z narzędzi, którzy wykonują działania za pomocą kalkulatorów, interfejsów API lub systemów wewnętrznych.
Agenci kierujący lub koordynujący, którzy decydują, jakie narzędzia lub przepływy pracy uruchomić, oraz agenci weryfikujący, którzy sprawdzają wyniki i tok rozumowania.
Współdziałając, agenci ci mogą realizować wieloetapowe procesy od początku do końca. Przekazują między kolejnymi etapami kontekst, wyniki pośrednie i decyzje w sposób, który można prześledzić. Dzięki temu cały proces pozostaje spójny i możliwy do odtworzenia.
Obszary ryzyka związane z AI
Nowoczesne systemy AI wiążą się z szeregiem ryzyk wynikających ze sposobu generowania wyników, a w niektórych przypadkach również ze sposobu zaprojektowania ich autonomicznego działania. Aby ułatwić ocenę i kontrolę tych ryzyk, warto podzielić je na kategorie odpowiadające obszarom, w których najczęściej występują nieprawidłowości. Poniższa klasyfikacja pomaga uporządkować walidację i dostosować zakres testów do konstrukcji systemu, jego zachowania i sposobu wykorzystania.
Ryzyko projektowania i wdrożenia
Ryzyko projektowania i wdrożenia dotyczy sytuacji, w których słabości konstrukcji lub konfiguracji systemu prowadzą do niebezpiecznych bądź niezamierzonych zachowań podczas jego działania. Obejmuje niewłaściwe ustawienia autonomii, błędnie zaprojektowane procesy, nieodpowiednie narzędzia, błędy architektury oraz niewłaściwą konfigurację promptów i zabezpieczeń. Każdy z tych czynników może prowadzić do rezultatów niezgodnych z zamierzonym sposobem działania lub obowiązującymi zasadami.
Ryzyka podstawowe
Ryzyka podstawowe są wspólne dla modeli generatywnej i agentowej AI. Odzwierciedlają fundamentalne mechanizmy powstawania błędów, właściwe systemom probabilistycznym opartym na danych. Występują niezależnie od stopnia autonomii systemu i korzystania z narzędzi, dlatego tworzą podstawową warstwę ryzyka, którą należy uwzględniać we wszystkich wdrożeniach AI.
Podstawowe kategorie ryzyka obejmują zazwyczaj:
Ryzyko poprawności merytorycznej: twierdzenia niepoparte dowodami, nieweryfikowalne, fałszywe lub zmyślone.
Ryzyko poprawności rozumowania: luki w związkach przyczynowo-skutkowych, błędy logiczne, pominięte etapy lub niespójny tok rozumowania.
Ryzyko spójności: sprzeczne lub wewnętrznie niespójne wyniki w różnych odpowiedziach lub kolejnych uruchomieniach.
Ryzyko stabilności i dryfu: zmiany zachowania między kolejnymi uruchomieniami, po aktualizacjach modelu lub przy niewielkich zmianach danych wejściowych.
Ryzyko nadmiernego polegania na AI przez użytkowników należy do obszaru zarządzania. Polega na tym, że sprawnie napisany tekst skłania użytkowników do ufania wynikom AI bez odpowiedniego udziału człowieka w procesie (HITL).
Ryzyka specyficzne dla agentowej AI
Agentowa AI wprowadza dodatkowe ryzyka ze względu na swój charakter: realizuje wieloetapowe procesy, jest ukierunkowana na osiąganie celów i może działać z większą autonomią. W przeciwieństwie do systemów wyłącznie generatywnych ryzyka te wynikają ze zdolności do planowania, podejmowania decyzji na kolejnych etapach, uruchamiania narzędzi i wykonywania działań przy ograniczonej ingerencji człowieka.
W rezultacie agentowa AI wiąże się z dodatkowymi kategoriami ryzyka, takimi jak:
Ryzyko poprawności planowania: zmyślone, nieadekwatne lub niebezpieczne kroki w generowanych planach.
Ryzyko spójności przepływu pracy: niewłaściwa kolejność działań, błędy zależności lub zaburzona logika wieloetapowego procesu.
Ryzyko bezpieczeństwa korzystania z narzędzi: niebezpieczny lub nieprawidłowy dobór narzędzi, interfejsów API lub parametrów, a także niewłaściwe użycie narzędzi.
Ryzyko integralności stanu: uszkodzenie, utrata lub zniekształcenie informacji przechowywanych między kolejnymi etapami procesu.
Ryzyko poprawności wyszukiwania informacji: wybór niewłaściwych źródeł, błędne oparcie wyników na materiale źródłowym lub niestabilne działanie mechanizmu wyszukiwania.
Ryzyko braku możliwości audytu i prześledzenia działania systemu: brak możliwości odtworzenia lub prześledzenia planów, toku rozumowania bądź interakcji z narzędziami.
Ryzyko związane z zabezpieczeniami i autonomią: przekroczenie przez agenta dozwolonego zakresu autonomii, obejście ograniczeń lub wykonanie niebezpiecznych działań.
Ze względu na skalę i złożoność tych ryzyk tradycyjne ramy walidacji modeli wymagają rozszerzenia.
Ramy walidacji AI
Złożoność systemów AI wiąże się z ryzykami dotyczącymi ich zachowania, których tradycyjne ramy walidacji nie uwzględniają. Dlatego zapewnienie wiarygodności AI wymaga dodatkowych, wzajemnie uzupełniających się elementów walidacji:
1. Jakość i bezpieczeństwo danych: na tym etapie sprawdza się, czy przed rozpoczęciem walidacji AI otrzymuje bezpieczne, kompletne i zgodne z obowiązującymi zasadami dane wejściowe. W przypadku systemów generatywnej i agentowej AI dane te obejmują prompty, historię rozmowy, wyszukane materiały źródłowe i instrukcje systemowe.
2. Testowanie zachowania systemu: pozwala ocenić, czy systemy generatywnej i agentowej AI działają w praktyce w sposób uporządkowany i kontrolowany. Obejmuje ocenę spójności rozumowania, zgodności wyników z dostępnymi materiałami źródłowymi, reakcji na brakujące lub sprzeczne informacje oraz trwałości zabezpieczeń. W przypadku systemów z funkcjami agentowymi sprawdza się również przestrzeganie granic autonomii, kierowanie zadań między komponentami i bezpieczeństwo korzystania z narzędzi.
3. Ocena wyników: pozwala ocenić jakość rezultatów generowanych przez model, w tym ich adekwatność, kompletność, poprawność merytoryczną, jasność, ton oraz zakres niezbędnych poprawek dokonywanych przez człowieka.
4. Udział człowieka w procesie (Human-in-the-Loop, HITL): etap ten następuje po ocenie wyników i zapewnia ich weryfikację przez człowieka, gdy mają istotne znaczenie, a odpowiedzialności za ich wykorzystanie nie można powierzyć AI.
5. Ciągłe monitorowanie: umożliwia bieżące śledzenie dryfu, wzorców halucynacji, błędów wyszukiwania informacji, niestabilności planowania i innych zmian zachowania w czasie.
6. Mechanizm działań naprawczych: ze względu na dynamiczny charakter systemów generatywnej i agentowej AI działania naprawcze są potrzebne nawet wtedy, gdy zastosowano solidne mechanizmy kontrolne. Problemy mogą pojawić się na każdym etapie, dlatego ich usuwanie powinno być stałym procesem opartym na informacji zwrotnej. Zidentyfikowane słabości prowadzą do ukierunkowanych korekt, takich jak udoskonalenie promptów, dostrojenie modelu czy aktualizacja zabezpieczeń. Pozwala to utrzymać stabilność i bezpieczeństwo systemu oraz jego zgodność z wymaganiami walidacyjnymi.
Wszystkie elementy tych ram mają zastosowanie zarówno do systemów generatywnej, jak i agentowej AI. Jeżeli system wykorzystuje autonomię lub narzędzia, testowanie jego zachowania jest bardziej rygorystyczne i obejmuje dodatkowe kontrole uwzględniające podwyższone ryzyko związane z tymi funkcjami. Ten sam proces zapewniania wiarygodności jest konsekwentnie stosowany w całym cyklu życia systemu. Działania naprawcze uruchamia się zawsze, gdy ustalenia z walidacji, problemy z wynikami lub sygnały z monitorowania wskazują na potrzebę korekty.
Rysunek 1. Kompleksowe ramy walidacji generatywnej i agentowej AI, obejmujące jakość i bezpieczeństwo danych wejściowych, testowanie zachowania systemu, ocenę wyników, nadzór człowieka, ciągłe monitorowanie oraz działania naprawcze dostosowane do ryzyka w całym cyklu życia.
1. Jakość i bezpieczeństwo danych
Kontrole jakości i bezpieczeństwa danych pozwalają ocenić, czy dane wejściowe są kompletne, mają prawidłową formę, odpowiadają zamierzonemu zadaniu i są zgodne z wewnętrznymi zasadami oraz ograniczeniami użytkowania. Zapewniają, że dane wejściowe nie zawierają treści zabronionych, niebezpiecznych lub nieodpowiednich ani żądań wykonania działań lub uzyskania dostępu wykraczających poza dozwolony zakres systemu.
2. Testowanie zachowania systemu
Testowanie zachowania koncentruje się na tym, czy system AI działa bezpiecznie, przewidywalnie i spójnie w różnych warunkach, a nie na jakości pojedynczego wyniku ocenianego w oderwaniu od pozostałych. Obejmuje ocenę rozumowania, zgodności wyników z dostępnymi materiałami źródłowymi oraz konsekwentnego odmawiania wykonania zadania, gdy informacje są niepełne lub sprzeczne. W przypadku funkcji agentowych ocenia się również sposób planowania, ustalania kolejności działań i korzystania z narzędzi w celu realizacji określonych celów.
Testowanie zachowania przeprowadza się w różnych kontrolowanych warunkach obciążeniowych, takich jak niepełne informacje, sprzeczne materiały źródłowe, wielokrotne wykonanie tego samego zadania lub celowe próby zakłócenia działania systemu. Warunki te same w sobie nie przesądzają o pozytywnym lub negatywnym wyniku testu. Służą ujawnianiu nieprawidłowości w zachowaniu i odróżnianiu pojedynczych problemów z wynikami od powtarzających się błędów, które mogą ujawniać się dopiero w warunkach obciążeniowych.
W bardziej złożonych architekturach ryzyko związane z zachowaniem może powstawać nie tylko w pojedynczym procesie decyzyjnym, lecz także we współdziałaniu wielu agentów. W systemach wieloagentowych testowanie obejmuje więc również przekazywanie i przydzielanie zadań, koordynację między agentami oraz stabilność wyników w realizowanych wspólnie procesach.
Decyzje wdrożeniowe, takie jak strategie dzielenia dokumentów na fragmenty, projektowanie metadanych i mechanizmy kontroli dostępu, nie są traktowane jako odrębne filary walidacji. Ich znaczenie wynika z wpływu na zachowanie systemu. Jeżeli istotnie oddziałują na jakość jego działania, podlegają bezpośredniej ocenie w ramach testowania zachowania i oceny wyników.
Dostosowanie zakresu testowania zachowania do złożoności systemu
Testowanie zachowania stosuje się proporcjonalnie, a nie jednakowo we wszystkich przypadkach. Jego szczegółowość i zakres rosną wraz ze stopniem autonomii systemu i jego profilem ryzyka:
Testy podstawowe dotyczą wszystkich systemów generatywnej i agentowej AI. Potwierdzają logiczność rozumowania i jego oparcie na materiałach źródłowych, wykrywają halucynacje i dryf zachowania, oceniają stabilność przy wielokrotnych uruchomieniach oraz sprawdzają, czy zabezpieczenia uruchamiają bezpieczną odmowę, gdy dane wejściowe są niepełne, sprzeczne lub wykraczają poza dozwolony zakres.
Testy związane z wyszukiwaniem informacji stosuje się, gdy wykorzystywane jest generowanie wspomagane wyszukiwaniem (Retrieval-Augmented Generation, RAG). Oceniają one poprawność wyszukiwania, sprawdzając, czy wybierane są właściwe źródła, czy są wiernie cytowane i wykorzystywane bez zmyślania informacji oraz czy działanie mechanizmu wyszukiwania pozostaje stabilne przy kolejnych uruchomieniach.
Testy funkcji agentowych oceniają, czy system prawidłowo wybiera i uruchamia narzędzia w dozwolonych granicach, stosuje właściwe ścieżki kierowania zadań i eskalacji, wykrywa zmyślone lub nieadekwatne kroki w planach oraz utrzymuje spójność wieloetapowych przepływów pracy.
Testy rozszerzone wprowadza się w przypadku systemów o wyższym ryzyku lub zdolnych do autonomicznego działania. Obejmują one testy obciążeniowe z wykorzystaniem celowych prób zakłócenia działania, kontrole zgodności z wymogami regulacyjnymi, testy spójności przyczynowo-skutkowej sprawdzające stabilność wyjaśnień oraz kontrole poufności. Te ostatnie służą potwierdzeniu, że informacje wrażliwe nie zostaną ujawnione nawet podczas prób wymuszenia ich ujawnienia.
3. Ocena wyników
Ocena wyników koncentruje się na jakości poszczególnych rezultatów, ich oparciu na materiałach źródłowych, kompletności i przydatności do profesjonalnego wykorzystania.
W przypadku systemów agentowej AI ocena obejmuje również bezpieczeństwo i poprawność proponowanych działań lub przepływów pracy. Zakres niezbędnych poprawek dokonywanych przez człowieka stanowi praktyczny wskaźnik wiarygodności wyników.
Aby tekst generowany przez AI był przydatny w analizie i powstawał w bezpiecznie działającym systemie, każdy wynik musi przejść zestaw ukierunkowanych kontroli jakości. Obejmują one ocenę jego adekwatności, jasności, poprawności i gotowości do profesjonalnego wykorzystania:
Ocena adekwatności: potwierdza, że tekst bezpośrednio odpowiada celowi monitorowania, pytaniu lub wymogowi analitycznemu. Obejmuje sprawdzenie, czy nie zawiera treści nieistotnych lub wykraczających poza zakres zadania, które wskazują na dryf rozumowania.
Kontrola jasności i spójności struktury: ocenia, czy wynik jest zrozumiały, logicznie uporządkowany i wolny od niejednoznacznych lub nadmiernie skomplikowanych sformułowań.
Weryfikacja poprawności merytorycznej: zapewnia, że wszystkie twierdzenia są prawidłowe, weryfikowalne i oparte na dostarczonych materiałach źródłowych. Każde twierdzenie bez potwierdzenia w źródłach wskazuje na nieprawidłowość w sposobie ich wykorzystania.
Kontrola kompletności: sprawdza, czy tekst obejmuje wszystkie wymagane elementy zadania i niczego nie pomija.
Kontrola tonu i profesjonalizmu: potwierdza, że wynik został napisany neutralnym tonem, odpowiednim dla organów regulacyjnych i odbiorców na wyższych szczeblach organizacji.
Ocena nakładu pracy redakcyjnej: mierzy zakres poprawek, które człowiek musi wprowadzić przed zatwierdzeniem wyniku. Duży nakład pracy redakcyjnej wskazuje na problemy z jakością lub rozumowaniem.
W praktyce instytucje oceniają wyniki, łącząc zautomatyzowane procedury z uporządkowanym przeglądem dokonywanym przez człowieka. Wyraźnie rozróżniają przy tym kontrole mechaniczne od tych, które wymagają osądu.
Kontrole mechaniczne stosuje się tam, gdzie możliwe jest obiektywne porównanie. Automatycznie, w sposób spójny i na dużą skalę, można na przykład sprawdzać, czy twierdzenia merytoryczne znajdują potwierdzenie w wyszukanych materiałach źródłowych i są zgodne ze znanymi danymi referencyjnymi. Można też potwierdzać obecność wymaganych sekcji i wykrywać treści wyraźnie wykraczające poza zakres zadania.
Osąd człowieka jest potrzebny tam, gdzie ocena zależy od kontekstu, niuansów lub zamierzonego zastosowania. Obejmuje to ocenę, czy rozumowanie jest wystarczająco jasne i przekonujące, czy tekst odpowiednio uwzględnia sprzeczne materiały źródłowe, czy ton i sposób przedstawienia treści są właściwe dla organów regulacyjnych lub kadry zarządzającej oraz czy wynik nadaje się do zamierzonego zastosowania analitycznego lub nadzorczego.
4. Udział człowieka w procesie (Human-in-the-Loop, HITL)
HITL ustanawia formalny punkt kontrolny, w którym człowiek ocenia wyniki przed ich wykorzystaniem. Zapewnia, że odpowiedzialność za decyzje o istotnym znaczeniu pozostaje po stronie ekspertów, a nie systemu AI.
Przegląd HITL nie jest stosowany domyślnie. Uruchamia się go wyłącznie wtedy, gdy wyniki mają istotny wpływ lub znaczenie regulacyjne, przekroczono z góry określone progi ryzyka albo po kontrolach automatycznych i kontrolach wspomaganych maszynowo, prowadzonych w ustalonych granicach, nadal pozostają nierozstrzygnięte niejasności. Typowe przykłady obejmują wyniki wpływające na istotne decyzje finansowe, sprawozdania regulacyjne, decyzje kadry zarządzającej lub zmiany kluczowych danych wejściowych wykorzystywanych do oceny ryzyka.
Celem HITL jest utrzymanie jednoznacznej odpowiedzialności człowieka i zapobieganie nadmiernemu poleganiu na AI przy podejmowaniu istotnych decyzji. Przegląd pozwala też wychwycić pozostałe błędy rozumowania lub wykorzystania źródeł, zanim wyniki zostaną formalnie zatwierdzone. Monitorowanie i działania naprawcze mogą być przy tym kontynuowane w całym cyklu życia AI.
5. Ciągłe monitorowanie
Systemy generatywnej i agentowej AI działają w dynamicznych środowiskach, w których dane wejściowe, wzorce użytkowania i kontekst wykonywania zadań zmieniają się w czasie. Ciągłe monitorowanie zapewnia bieżący nadzór, aby zachowanie systemu pozostawało w granicach ustalonych podczas walidacji. Stanowi zabezpieczenie, które uzupełnia formalną walidację, a nie ją zastępuje, wykrywając dryf zachowania w rzeczywistych warunkach operacyjnych.
W praktyce monitorowanie obejmuje określony zestaw mierników zachowania, takich jak częstość występowania niepopartych twierdzeń, zmiany wzorców rozumowania, stabilność wyszukiwania informacji oraz sposób odmawiania wykonania zadania przy niepełnych lub sprzecznych danych wejściowych. Mierniki te ocenia się względem wcześniej określonych przedziałów i progów odzwierciedlających apetyt instytucji na ryzyko. Wyraźnie rozróżnia się przy tym zachowanie akceptowalne, pojawiające się sygnały niepokojące i niedopuszczalne odchylenia.
Celem ciągłego monitorowania jest wykrycie momentu, w którym zachowanie systemu w rzeczywistych warunkach operacyjnych zaczyna wykraczać poza granice ustalone podczas walidacji. Monitorowanie prowadzi się w określonych odstępach czasu oraz po istotnych zmianach promptów, modeli bazowych, konfiguracji wyszukiwania informacji, ustawień autonomii lub kontekstu wykonywania zadań.
Ciągłe monitorowanie rozszerza ugruntowane praktyki zarządzania ryzykiem modeli, uwzględniając dynamiczny i adaptacyjny charakter nowoczesnych systemów AI. Pozwala potwierdzać, że wnioski z walidacji pozostają wiarygodne, a zmiany zachowania są wcześnie wykrywane i korygowane, zanim wywołają istotne skutki.
6. Mechanizm działań naprawczych
Nawet przy solidnych mechanizmach kontrolnych systemy generatywnej i agentowej AI wymagają okresowych korekt. Zmienność zachowania, zależność od mechanizmów wyszukiwania informacji i autonomiczne ścieżki wykonywania zadań sprawiają, że problemy mogą pojawić się na każdym etapie cyklu życia. Mechanizm działań naprawczych jest więc stałym procesem opartym na informacji zwrotnej. Każda słabość zidentyfikowana od momentu wprowadzenia danych do monitorowania po wdrożeniu prowadzi do ukierunkowanych i udokumentowanych korekt.
Na etapie danych wejściowych negatywne wyniki kontroli jakości i bezpieczeństwa danych, np. niebezpieczne treści, niekompletne dane wejściowe lub niespójne wyszukane materiały źródłowe, uruchamiają działania naprawcze. Obejmują one aktualizację ograniczeń w promptach, zmianę zasad opierania wyników na źródłach lub ulepszenie konfiguracji wyszukiwania informacji, aby przed kontynuowaniem walidacji zapewnić bezpieczne dane wejściowe zgodne z obowiązującymi zasadami.
Podczas walidacji modelu ustalenia dotyczące zachowania bezpośrednio przekładają się na działania korygujące. Sygnały halucynacji lub dryfu wymagają udoskonalenia promptów; problemy ze stabilnością mogą wymagać zmiany doboru modelu; błędy wyszukiwania informacji prowadzą do ulepszenia podziału dokumentów na fragmenty lub punktowej oceny trafności wyników; niebezpieczne zachowania związane z narzędziami lub autonomią koryguje się poprzez zmianę uprawnień do narzędzi, ścieżek awaryjnych lub ustawień limitu kroków. Korekty te przywracają przewidywalne zachowanie AI i możliwość jego audytowania.
Po ocenie wyników działania naprawcze koncentrują się na poprawie jakości tekstu. Duży nakład pracy redakcyjnej, brakujące etapy rozumowania lub niejasną strukturę koryguje się przez udoskonalenie przykładów, instrukcji dotyczących odbiorców i opisu roli przypisanej AI w promptach. Pozwala to dostosować wyniki do oczekiwań analitycznych i nadzorczych przed przeglądem HITL.
W ramach HITL powtarzające się poprawki dokonywane przez człowieka stają się wyraźnymi sygnałami potrzeby działań naprawczych. Powtarzające się przypadki ręcznej zmiany wyników lub eskalacji wskazują na potrzebę aktualizacji promptów, zabezpieczeń lub limitów autonomii, tak aby problemy rozwiązywane ręcznie nie pojawiały się ponownie w przyszłych wynikach.
W ramach ciągłego monitorowania alerty dotyczące dryfu, niestabilność wyszukiwania informacji lub zmiany wynikające z aktualizacji modelu automatycznie uruchamiają procesy naprawcze. Obejmują one aktualizacje metapromptów, iteracyjne testy regresji oraz ponowne dostosowanie logiki odmowy i zasad opierania wyników na źródłach.
Na wszystkich etapach działania naprawcze opierają się na spójnym zestawie mechanizmów kontrolnych, obejmujących modyfikacje promptów, dobór i dostrajanie modeli, usprawnienia wyszukiwania informacji, aktualizacje zabezpieczeń, konfigurację korzystania z narzędzi oraz udoskonalanie zasad autonomii.
Każdy niezaliczony test lub zaobserwowaną anomalię przypisuje się do jednego lub kilku takich mechanizmów i obejmuje ukierunkowanymi działaniami korygującymi.
Działania naprawcze opierają się na ocenie ryzyka i dowodach, a nie wyłącznie na scenariuszach lub subiektywnym osądzie. Problemów nie uznaje się za rozwiązane jedynie na podstawie ręcznej ingerencji lub akceptacji wyniku. Można je zamknąć dopiero po wdrożeniu działań korygujących i potwierdzeniu w ponownej walidacji, że nieprawidłowość będąca źródłem problemu nie występuje ponownie, a zachowanie systemu mieści się w określonych progach. Takie podejście trwale wzmacnia system, zapobiega nawrotom problemów w podobnych warunkach i utrzymuje przejrzystą ścieżkę audytową łączącą ustalenia, działania i rezultaty.
Kolejne kroki dla instytucji
W miarę jak systemy generatywnej i agentowej AI stają się integralną częścią procesów decyzyjnych i sprawozdawczości, instytucje muszą zapewnić, że działają one przewidywalnie, w dozwolonym zakresie, a generowane przez nie wyniki można zweryfikować. Wdrożenie ram zarządzania ryzykiem modeli wraz z odpowiednio dostosowanym podejściem do walidacji AI pomoże rozwijać bardziej odporne, efektywne i wiarygodne systemy.
Firmy inwestujące w solidne zasady zarządzania, jasno określoną odpowiedzialność i niezależną, krytyczną weryfikację zyskują wyraźne korzyści: lepszą jakość działania, większą przejrzystość sposobu funkcjonowania systemów, gotowość do audytu i mniejszą liczbę incydentów. Włączenie testowania zachowania, nadzoru HITL, ciągłego monitorowania i solidnego mechanizmu działań naprawczych umożliwia bezpieczne wdrażanie AI na szeroką skalę oraz przygotowanie modeli biznesowych na przyszłe wyzwania.
Tekst oryginalny pochodzi ze strony: Validating Artificial Intelligence Systems: A Modern Capability for Model Risk Management