Dyskusje pokazały, w jaki sposób sztuczna inteligencja jest włączana do procesów nadzorczych i działalności operacyjnej banków. Wskazały również nowe wyzwania związane z ładem organizacyjnym, odpowiedzialnością, zarządzaniem ryzykiem i przygotowaniem organizacji do wdrożeń. Choć nadzorcy i przedstawiciele sektora patrzyli na te kwestie z różnych perspektyw, byli zgodni, że skuteczne wdrażanie AI wymaga zachowania równowagi między innowacyjnością a kontrolą, stworzenia solidnych ram zarządzania oraz stałych inwestycji w rozwój pracowników i ich kompetencji.
Podczas wydarzenia przedstawiono również podejście Grant Thornton do walidacji systemów AI, koncentrując się na praktycznych metodach zarządzania, monitorowania i nadzorowania rozwiązań wykorzystujących generatywną i agentową sztuczną inteligencję
Część I. Perspektywa EBC: nadzór wspierany technologiami cyfrowymi
Sztuczna inteligencja staje się strategicznym priorytetem zarówno dla organów nadzoru, jak i banków
W wystąpieniu otwierającym konferencję przedstawiono, jak innowacje technologiczne przekształcają sektor finansowy i zmieniają sposób działania banków oraz organów nadzoru. Zdaniem EBC sztuczna inteligencja pozwala zwiększać efektywność, wyciągać nowe wnioski z analizy danych i poprawiać skuteczność nadzoru. EBC postrzega AI nie tylko jako narzędzie usprawniające procesy nadzorcze, lecz także jako sposób na lepsze zrozumienie technologii coraz częściej wdrażanych przez nadzorowane instytucje.
Europejski Bank Centralny rozwija AI w ramach szerszego programu transformacji cyfrowej
W wystąpieniu omówiono program transformacji cyfrowej uruchomiony w 2020 r., który łączy inwestycje w infrastrukturę danych, technologie wspierające nadzór i sztuczną inteligencję z szerszymi zmianami organizacyjnymi. EBC wyjaśnił, że jego celem jest zwiększenie skuteczności i efektywności działania oraz zacieśnienie współpracy między europejskimi organami nadzoru. Szczególny nacisk położono na uproszczenie środowiska technologicznego wykorzystywanego w nadzorze oraz stworzenie architektury umożliwiającej zaawansowaną analizę danych i nadzór wspomagany przez AI.
W ramach tej transformacji EBC wprowadził nowe narzędzia, które pomagają nadzorcom sprawniej analizować informacje, korzystać z dokumentacji i identyfikować ryzyka. W wystąpieniu wskazano m.in. platformę Athena, która zapewnia dostęp do informacji i dokumentacji nadzorczej w wielu językach. Omówiono również inwestycje w rozwiązania wykorzystujące agentową AI, które mają zwiększać produktywność i ułatwiać dostęp do wiedzy.
Nadzór człowieka pozostaje fundamentalną zasadą
Omawiając rosnącą rolę sztucznej inteligencji, przedstawiciele EBC wielokrotnie podkreślali, że AI ma wspierać nadzorców, a nie ich zastępować. Odpowiedzialność za decyzje nadzorcze nadal spoczywa na ekspertach, natomiast sztuczna inteligencja pełni funkcję wspomagającą i nie jest autonomicznym decydentem. Za podstawowe elementy podejścia EBC uznano solidne zasady zarządzania, kontrolę nad zastosowaniami AI i zgodność z wymogami regulacyjnymi.
Kultura organizacyjna, edukacja i odpowiedzialność są niezbędne do skutecznego wdrożenia
W wystąpieniu wielokrotnie podkreślano, że powodzenie transformacji cyfrowej zależy w równym stopniu od ludzi, jak od technologii. EBC przedstawił szeroko zakrojone inwestycje w rozwój kompetencji cyfrowych, kształcenie kadry kierowniczej i współpracę z instytucjami akademickimi. Szczególną wagę przywiązano do tego, aby pracownicy rozumieli zarówno możliwości, jak i ograniczenia nowych technologii. Na zakończenie podkreślono potrzebę zachowania równowagi między innowacyjnością a kontrolą. Zaznaczono przy tym, że rezygnacja z wdrażania technologii, które mogą zasadniczo zmienić sposób działania organizacji, sama w sobie może być źródłem ryzyka.
Część II. Perspektywa sektora: zasady zarządzania, odpowiedzialność i zarządzanie ryzykiem AI
Banki przechodzą od eksperymentów z AI do wdrożeń operacyjnych
Dyskusja panelowa przedstawicieli sektora koncentrowała się na praktycznym wdrażaniu AI w bankach. Uczestnicy omawiali, jak wiele instytucji przechodzi od eksperymentów i inicjatyw służących zwiększeniu produktywności do szerszego wykorzystania AI w procesach biznesowych. Wśród przykładów znalazły się kontakty z klientami, podejmowanie decyzji kredytowych, przeciwdziałanie praniu pieniędzy oraz programy poprawy efektywności operacyjnej.
Uczestnicy byli zasadniczo zgodni, że tempo wdrażania AI stale rośnie, częściowo pod wpływem obaw przed pozostaniem w tyle za konkurencją i niewykorzystaniem możliwości, jakie oferuje ta technologia.
Generatywna i agentowa AI stawiają nowe wyzwania w obszarze zarządzania
Znaczną część dyskusji poświęcono różnicom między tradycyjnymi modelami analitycznymi, uczeniem maszynowym, generatywną AI i agentową AI. Paneliści byli zasadniczo zgodni, że metody zarządzania tradycyjnymi modelami są już stosunkowo dojrzałe, natomiast instytucje nadal doskonalą sposoby zarządzania nowszymi formami AI.
Wskazano, że agentowa AI dodatkowo komplikuje zarządzanie, ponieważ takie systemy mogą uzyskiwać dostęp do wielu aplikacji, dynamicznie pobierać informacje i wykonywać działania z różnym stopniem autonomii.
Zasady zarządzania stają się kluczowym warunkiem odpowiedzialnego wdrażania AI
Ład organizacyjny był jednym z głównych tematów dyskusji panelowej. Uczestnicy podkreślali znaczenie prowadzenia rejestrów zastosowań AI, jasnego przypisania odpowiedzialności oraz wprowadzenia mechanizmów kontrolnych dostosowanych do złożoności i znaczenia poszczególnych rozwiązań.
Wskazywano, że odpowiednie zasady zarządzania nie hamują innowacji, lecz zapewniają przejrzystość niezbędną do odpowiedzialnego wdrażania AI na szeroką skalę.
Zakres zarządzania rozszerza się z modeli na całe systemy
Jednym z najważniejszych wniosków z panelu było spostrzeżenie, że organizacje coraz częściej nadzorują całe systemy AI, a nie pojedyncze modele. Uczestnicy zauważyli, że wiele rozwiązań AI składa się obecnie z licznych wzajemnie powiązanych komponentów, takich jak modele, prompty, mechanizmy wyszukiwania i pobierania informacji, repozytoria wiedzy, usługi zewnętrzne oraz narzędzia monitorowania.
W konsekwencji nadzór nie może ograniczać się do tradycyjnej walidacji modeli, lecz wymaga pełniejszego zrozumienia, jak całe systemy AI działają w praktyce.
Podstawy zarządzania danymi pozostają istotnym wyzwaniem
Mimo szybkiego rozwoju możliwości AI paneliści zauważyli, że wiele od dawna znanych problemów związanych z danymi pozostaje aktualnych. Rozproszone środowiska starszych systemów, trudności z prześledzeniem pochodzenia i przepływu danych oraz niespójne definicje danych nadal wpływają na wdrożenia w całym sektorze.
Jednocześnie organizacje stają się coraz bardziej zależne od dostawców usług chmurowych i zewnętrznych dostawców technologii AI. Rodzi to dodatkowe wyzwania dotyczące odporności operacyjnej i zarządzania ryzykiem związanym z podmiotami trzecimi.
Oczekiwania regulacyjne nadal ewoluują
Dyskusję zakończyły refleksje na temat oczekiwań nadzorczych i przyszłego otoczenia regulacyjnego. Wielokrotnie wskazywano, że kluczowe znaczenie mają odpowiedzialność, nadzór człowieka, monitorowanie, procedury eskalacji i ocena rezultatów.
Choć podejścia regulacyjne w poszczególnych jurysdykcjach nadal się zmieniają, za podstawowe warunki skutecznego wdrażania AI niezmiennie uznaje się odpowiednie zasady zarządzania i jasno określoną odpowiedzialność
Część III. Perspektywa Grant Thornton: od walidacji modeli do walidacji systemów AI
Tradycyjne podejścia do walidacji modeli nie wystarczają w przypadku systemów AI
Nawiązując do zagadnień poruszonych przez EBC i praktyków sektora, Grant Thornton poświęcił swoją prezentację jednemu z najważniejszych praktycznych wyzwań stojących dziś przed instytucjami finansowymi: walidacji i ciągłemu monitorowaniu systemów AI.
W prezentacji podkreślono zasadniczą zmianę związaną z przechodzeniem od tradycyjnych modeli uczenia maszynowego do generatywnej i agentowej AI. W przeciwieństwie do konwencjonalnych modeli, które są w dużej mierze deterministyczne i dają powtarzalne wyniki, omawiane systemy AI mają z natury probabilistyczny charakter. Wymaga to od instytucji ponownego przemyślenia sposobu prowadzenia walidacji, monitorowania i nadzoru.
Walidacja AI powinna obejmować dane, zachowanie systemu, wyniki, nadzór człowieka i monitorowanie
W prezentacji przedstawiono ramy walidacji obejmujące pięć kluczowych obszarów: dane i ich bezpieczeństwo, testowanie zachowania systemu, ocenę wyników, nadzór człowieka oraz ciągłe monitorowanie.
Skuteczne ramy walidacji nie koncentrują się wyłącznie na jakości działania modelu. Pozwalają ocenić funkcjonowanie całego systemu AI, proces generowania wyników oraz to, czy na wszystkich etapach jego cyklu życia zastosowano odpowiednie mechanizmy kontrolne.
Oprócz solidnych zasad zarządzania danymi instytucje muszą dbać o jakość i poprawność repozytoriów wiedzy, promptów i instrukcji, a także o prawidłowy przebieg procesów wpływających na zachowanie AI i generowane przez nią wyniki.
Testowanie zachowania systemu pozwala sprawdzić, czy AI działa bezpiecznie, przewidywalnie i spójnie w różnych warunkach. Zamiast oceniać wyłącznie jakość pojedynczej odpowiedzi, bada się sposób wnioskowania systemu, wykonywanie instrukcji, reakcję na niepełne lub sprzeczne informacje oraz stosowanie zabezpieczeń. W przypadku funkcji agentowych sprawdza się również, jak system planuje i wykonuje działania prowadzące do osiągnięcia określonych celów.
Testy przeprowadza się w różnych kontrolowanych scenariuszach obciążeniowych, aby zidentyfikować powtarzające się nieprawidłowości w zachowaniu systemu, które mogą nie ujawniać się podczas normalnej pracy.
Ocena wyników koncentruje się na jakości i przydatności poszczególnych odpowiedzi. Obejmuje ich adekwatność, poprawność merytoryczną, kompletność, jasność, profesjonalny ton i dopasowanie do zamierzonego celu.
Niektóre czynności kontrolne, takie jak weryfikacja zgodności z materiałem źródłowym, można zautomatyzować. Inne wymagają jednak oceny człowieka, aby ustalić, czy wynik odpowiada zamierzonemu celowi, zawiera wyważoną argumentację i jest właściwy w danym kontekście biznesowym, regulacyjnym lub dotyczącym ryzyka.
Praktyczne metody testowania pokazują różnice względem tradycyjnej walidacji
Aby pokazać, czym walidacja AI różni się od tradycyjnej walidacji modeli, w prezentacji przedstawiono kilka praktycznych metod testowania.
Jednym z przykładów oceny wyników był test adekwatności, który sprawdza, czy odpowiedź agenta AI odnosi się do pierwotnego zapytania. Odpowiedź może być poprawna merytorycznie, a mimo to nie przejść walidacji, jeśli zawiera zbędne informacje lub odbiega od zamierzonego celu.
Przykład testowania zachowania systemu polegał na przedstawieniu celowo wprowadzającego w błąd promptu, aby sprawdzić, czy agent zakwestionuje zawarte w nim założenie, czy jedynie powieli nieprawdziwe informacje. Takie testy pomagają ocenić nie tylko poprawność wyników, lecz także niezawodność, odporność i wiarygodność działania agenta w różnych warunkach.
Nadzór człowieka i monitorowanie dostosowane do poziomu ryzyka pozostają niezbędne
W prezentacji podkreślono znaczenie nadzoru człowieka i ciągłego monitorowania. W miarę jak wyniki generowane przez AI stają się coraz bardziej zaawansowane, organizacje muszą nadal poddawać je krytycznej ocenie i weryfikacji, zamiast polegać na nich bezrefleksyjnie.
Zakres monitorowania powinien być proporcjonalny do takich czynników jak stopień autonomii, wpływ na działalność biznesową i znaczenie regulacyjne. Podział rozwiązań na kategorie pomaga zachować równowagę między innowacyjnością a kontrolą.
Więcej informacji na temat metod walidacji AI i praktycznych aspektów zarządzania ryzykiem modeli można znaleźć w artykule Grant Thornton „Walidacja systemów sztucznej inteligencji: nowe kompetencje w zarządzaniu ryzykiem modeli”.
Podsumowanie
Konferencja pokazała, że zarówno organy nadzoru, jak i instytucje finansowe aktywnie inwestują w sztuczną inteligencję, jednocześnie wzmacniając ramy zarządzania i kontroli.
Wystąpienie EBC pokazało, jak AI jest włączana do procesów nadzorczych dzięki połączeniu inwestycji technologicznych, przygotowania organizacyjnego i nadzoru człowieka.
Dyskusja panelowa przedstawicieli sektora rozwinęła te zagadnienia, przybliżając praktyczne aspekty wdrażania AI, w tym zasady zarządzania, odpowiedzialność, podstawy zarządzania danymi i zmieniające się oczekiwania regulacyjne.
Z kolei w prezentacji Grant Thornton przedstawiono praktyczne ramy walidacji i monitorowania systemów AI, podkreślając przejście od tradycyjnej walidacji modeli do szerszego zarządzania całymi systemami AI.
Choć stosowane metody nadal się rozwijają, wszystkie trzy sesje potwierdziły wspólny wniosek: skuteczne wdrażanie AI wymaga równowagi między innowacyjnością a kontrolą, solidnych zasad zarządzania, jasno określonej odpowiedzialności oraz stałych inwestycji w ludzi, procesy i technologię.
Tekst oryginalny pochodzi ze strony: Responsible AI in Banking
Autorzy publikacji: Dwayne Price, Lukas Majer, Daniel Fernández Domínguez