Bottom up sistem ranog upozorenja za bankarski sektor Srbije

1 Uvod

---

Poslednja globalna finansijska kriza je ukazala na značaj praćenja i razumevanja kako domaćih tako i globalnih indikatora finansijske stabilnosti.

Rana identifikacija finansijskog stresa bi, uz pravovremeno reagovanje i pripremanje adekvatnih mera, omogućila supervizorima izbegavanje ili ublažavanje posledica kritičnog događaja, ili povećavanje sposobnosti bankarskog sektora da apsorbuje efekte takvog događaja. Imajući u vidu gore navedeno, identifikacija individualnih (idiosinkratskih) izvora rizika je od krucijalnog značaja za stabilnost jer omogućava brzo otklanjanje pojedinačnih izvora finansijske nestabilnosti.

Procena finansijske stabilnosti banaka se bazira kako na neposrednom tako i na posrednom sistemu kontrole regulatornog izveštavanja. Neposredna kontrola ima za cilj sveobuhvatnu kontrolu boniteta i zakonitosti poslovanja banka i bankarskih grupa na konsolidovanoj osnovi sa aspekta upravljanja rizicima (stepen izloženosti i adekvatnosti upravljanja kreditnim rizikom, rizikom likvidnosti, tržišnim, operativnim i drugim rizicima), kao i neposrednu kontrolu adekvatnosti uspostavljene organizacije načina upravljanja i sistema unutrašnjih kontrola, finansijskog stanja i kapitala banke, itd. Međutim, budući da je ovaj vid kontrole relativno zahtevan u pogledu finansijskih i ljudskih resursa kao i u pogledu potrebnog vremena njegova učestalost je ograničena. U tom smislu, supervizori pretežno posrednim putem prate bankarski sistem dok se neposredna kontrola odvija planski na pažljivo odabranom uzorku banaka.

Posredna kontrola se pri proceni finansijskog stanja banaka u načelu koristi sledećim dvema metodama:

1. praćenjem i analizom indikatora poslovanja koji se utvrđuju na osnovu podataka iz regulatornih izveštaja koje banke dostavljaju, uključujući i indikatore izvedene iz bilansa stanja i uspeha banaka, koji poseduju unapred utvrđene granične vrednosti koje je banka dužna da zadovolji. Neispunjavanje ovih limita šalje jasan signal supervizorima o određenim poteškoćama sa kojima se banka suočava u svom poslovanju;

2. teoretskim modelima koji na osnovu prethodno navedenih indikatora i ostalih egzogenih varijabli imaju ulogu da procene verovatnoću bankrota, krize ili smanjenja rejtinga posmatrane banke. Na osnovu ovih analiza moguće je jasno utvrditi prioritete u alokaciji resursa za potrebe sprovođenja neposredne kontrole.

Ova metodologija će biti posvećena opisu razvoja i primene Sistema ranog upozorenja (u daljem tekstu: EWS¹) u Narodnoj banci Srbije u okviru Sektora za kontrolu poslovanja banaka. Taj sistem po svojoj prirodi odgovara metodi pod (2), odnosno zasnovan je na statističkom modeliranju verovatnoće navedenih događaja.

U nastavku je ukratko dat pregled literature i geneze EWS modela. U Poglavlju 3 je opisan proces prikupljanja i obrade podataka. Poglavlje 4 prikazuje postupak razvoja modela. Metodologija se završava aneksom u kom su opisani teoretski okviri Kohonenovih samoorganizujućih mapa i LASSO (engl. least absolute shrinkage and selection operator, a u daljem tekstu: lasso) logističke regresije.

2 Literatura modela EWS

---

Literatura o sistemima ranog upozorenja obiluje metodama koje svoje korene povlače iz statistike. Poslednjih godina inovacije na ovom polju su uglavnom zasnovane na primeni tehnika mašinskog učenja koje su, opet, vrlo slične prethodnim statističkim tehnikama tako da se tačna granica između ova dva pristupa teško pronalazi. EWS se po svojoj strukturi ne razlikuju od skoring i rejting sistema.

U tom smislu njihova geneza prati razvoj skoring i rejting modela tako da su u početku bili zasnovani na analizi diskriminanata po ugledu na Altmanov Z skor (Altman 1968). Glavni nedostatak analize diskriminanata su bile njene, u praksi, teško zadovoljene pretpostavke. Martin (1977) je prvi primenio logističku regresiju na uzorku od 5.575 banaka od kojih su 23 bankrotirale i time je započeo eru logističke regresije u EWS modelima. Prednosti logističke regresuje su pre svega bile njena neosetljivost na karakteristike skupa podatka kao i mali broj pretpostavki koje treba ispuniti. Krajnji rezultat koji nastaje primenom logističke regresije su verovatnoće, što je posledica transformacione funkcije (koja ima oblik slova s i utvrđuje vezu između verovatnoće i skora koji se dobija na osnovu objašnjavajućih promenljivh). Ova metoda je do skoro pretstavljala dominantan alat EWS, kada primat polako počinju da preuzimaju tehnike mašinskog učenja.

Još jedna vrsta statističkih modela vredna pomena su Cox hazard modeli. Razvijeni od strane Cox (1992) -a, u biomedicini ovi modeli za razliku od logit² i sličnih modela kao zavisnu varijablu tretiraju vreme do nastupanja relevantnog događaja (svojstveno našem slučaju - bankrota) statusa neizmirenja obaveza. Lane, Looney, and Wansley (1986) prvi put koriste ove modele za predviđanje statusa neizmirenja obaveza kod banaka. Načelno, ovi modeli ispoljvaju performanse koje su uporedive sa analizom diskriminanata i logističkom regresijom.

Iako manje zastupljeni, modeli neuronskih mreža (u daljem tekstu: NN) takođe se koriste za potrebe predviđanja statusa neizmirenja obaveza firmi i EWS. Studije na temu primene ovih modela u predviđanju statusa neizmirenja obaveza se pojavljuju devedesetih godina prošlog veka (Odom and Sharda 1990). Odom and Sharda (1990) eksperimentišu sa Altmanovim racio pokazateljima kao ulaznim neuronima u neuronskoj mreži i nadmašuju rezultate Altman (1968) -a. Međutim prvi rad na temu predviđanja statusa neizmirenja obaveza banke, primenom NN, proizilazi od Tam (1991) koji zaključuje da NN nadmašuju ostale modele. Još jedna vrsta NN modela koja je od presudne važnosti za ovu metodologiju predstavljaju takozvane Samo-organizujuće mape (engl. Self organizing maps, a u daljem tekstu: SOM) ili kako ih često nazivaju Kohonenove mape (engl. Kohonen maps). O ovim modelima će biti više reči u nastavku metodologije budući da su oni sastavni deo EWS o kome će ovde biti reči.

Svi modeli koji su gore navedeni ispoljavaju slične performanse, a razlike koje su prijavljene u literaturi i koje favorizuju jedan model u odnosu na drugi su često marginalne, statistički beznačajne i vrlo verovatno rezultat same pristrasnosti autora teksta prema posmatranom modelu. Veliki broj radova opisuje poređenja različitih modela (videti na primer Jagtiani et al. (2003) koji daju argument da komplikovaniji modeli nisu nužno i bolji). Postoji veliki broj modela koji ovde nisu navedeni u cilju očuvanja konciznosti, ali prethodno opisani modeli predstavljaju najčešće korišćene modele u velikom broju centralnih banaka. Opšta odlika EWS modela je mali broj opservacija koje su dostupne za razvoj i kalibrisanje modela. Ovo je naročito slučaj u manjim ekonomijama koje nemaju veliki broj banaka u svom bankarskom sistemu. Za detaljniji pregled EWS modela videti na primer (OeNB) (2004) , Ploeg (2010).

Holopainen and Sarlin (2017) primenjuju savremen pristup EWS uz upotrebu tehnika mašinskog učenja. Preciznije, korišćenjem višestruke k-fold validacije³, oni upoređuju veliki broj modela i kombinuju iste uprosečavanjem njihovih rezultata. Metodologija koja će ovde biti opisana koristi kombinaciju dva modela. U prvom koraku se koristi SOM koji ima ulogu filtriranja opservacija u smislu odvajanja uzorka na sigurne banke u pogledu rizičnosti i banke koje su u “sivoj zoni” i koje je potrebno dodatno ispitati. U drugom koraku se ove banke dodatno analiziraju primenom LASSO logističke regresije⁴.

3 Priprema podataka i izgled i reprodukcija projekta

---

Ovo poglavlje može biti preskočeno pri prvom čitanju i/ili ukoliko je interes čitanja teoretski koncept modela a ne i njegovo ponovno pokretanje i proračun.

U cilju što boljeg budućeg reprodukovanja projekta neophodno je detaljnije opisati samu strukturu istog. Budući da su za razvoj korišćeni različiti izvori podataka ukratko će biti opisan sam proces prikupljanja i obrade podataka, kao i struktura projekta koji je izrađen u R programskom jeziku.

Projekat se nalazi na sledećoj adresi:

//bulitf01/KontrolaBanaka/Grupa za razvoj kvantitativnih modela/1. Early warning/1. Early Warning - razvoj/2. Top Down

Slika 1. Izgled direktorijuma sa projektom

Pri izradi projekta posebna pažnja se pridavala njegovom reprodukovanju i dokumentovanju svakog koraka u cilju što lakšeg snalaženja budućih analitičara. Svaki direktorijum/poddirektorijum sadrži u sebi Read me.txt fajl koji ukratko opisuje njegovu sadržinu.

Priprema podataka za učitavanje u R se vrši u direktorijumu pod nazivom 1. Priprema podataka koji se može videti na slici br. 1. Koraci u pripremi podataka su detaljno opisani u excel fajlu radi reprodukcije, izgled i opis direktorijuma pripreme podataka je prikazan na slici br. 2. Rezultat pripreme podataka je excel fajl 4. Podaci.xlsb u kom su prvo sumirane sve varijable a potom preko pivot tabele pripremljene u oblik koji je pogodan za učitavanje u R. Potom je pivot tabela eksportovana u csv format, pod nazivom Data.scv⁵ i smeštena na adresi iz koje se učitava u R:

//bulitf01/KontrolaBanaka/Grupa za razvoj kvantitativnih modela/1. Early warning/1. Early Warning - razvoj/2. Top Down/2. Project/Data/Input data

Važno je napomenuti da su podaci normalizovani, odnosno centrirani oko svoje srednje vrednosti a potom i skalirani na jediničnu varijansu. Ova transformacija je bila neophodna u cilju davanja podjednake značajnosti svim varijablama koje ulaze u SOM. Kod makrovarijabli ova transformacija je sprovedena pre učitavanja u R⁶, dakle u fajlu 3.9. Macro podaci za R.xlsb, dok je za preostale varijable izvršena u R-u.

Slika 2. Izgled direktorijuma pripreme i skupljanja podataka za top down EWS

Razvoj modela se odvija, kao što je već napomenuto u R-u i skriptovi se nalaze u direktorijumu 2. Project. Ovde se mogu videti dva poddirektorijuma. Prvi, Data, sadrži kako polazne podatke (direktorijum Input data gde se nalazi već opisana Data.csv tabela) tako i međukorake i rezultate (direktorijum Output data) iz R procedura. R procedure se pokreću iz drugog poddirektorijuma u direktorijumu 2. Project koji se zove R Scripts i prikazan je na slici br. 3.

Slika 3. Izgled direktorijuma razvoja modela u R programskom jeziku

3.1 KRI pokazatelji i definicija problematične banke

Izbor početnog skupa varijabli koji bi što sveobuhvatnije opisao rizični profil poslovanja banaka je zasnovan na osnovnim KRI pokazateljima⁷. Pregled ovih pokazatelja se nalazi u Tabeli 1. Izbor KRI indikatora je bio ograničen i dužinom serije koja nam je dostupna. Podaci datiraju od septembra 2008. godine pa do decembra 2016. godine i njihova učestalost je kvartalna.

Budući da su nastupanja statusa neizmirenja obaveza banaka veoma retki događaji EWS modeli koji bi predviđali ovaj događaj pate od malog broja ovih slučajeva u razvojnom uzorku. Ovaj problem se zaobilazi redefinisanjem slučaja nastupanja statusa neizmirenja obaveza u slučaj problematične banke.

Pod problematičnom bankom smatramo sve banke kojima je pokazatelj adekvatnosti kapitala u određenom periodu pao ispod 14,5%⁸. Ovo je i ujedno stanje banke koje model pokušava da predvidi godinu dana unapred. Ovako definisan status problematične banke za posledicu ima znatno povećanje učestalosti tog modaliteta zavisne promenljive u uzorku. Uzorak broji 927 opservacija od kojih su 56 svrstane kao problematične.

Određenim pokazateljima je nedostajala vrednost za prvi kvartal, i stoga su ove vrednosti tretirane kao nedostajuće i kasnije u analizi popunjene k-nearest neghbour imputacijom. Međutim većina ovih varijabli je kasnije i uklonjena iz dalje analize budući da su korišćene pri identifikaciji problematičnih banaka (priraštaji PAK-a i regulatornog kapitala kao i PAOK koji postoji tek od 2012. godine). Načelno se može reći da varijable nisu imale nedostajućih vrednosti.

Deskriptivna statistika KRI podataka prikazana je tabeli 2 u aneksu 1. Varijable odlikuje distribucija koja je daleko od normalne sa velikim brojem autlajera i asimetričnošću raspodele. Autlajeri su tretirani vinsorizacijom, tako što su ekstremne vrednosti zamenjene 97.5-im odnosno 2.5-im percentilom. Box plotovi pre i posle ove transformacije su prikazani na figurama 4 i 5 u aneksu 1. Dalje, banke su podeljene prema pripadnosti na strane, domaće i privatne. Usled visoke korelacije iz dalje analize su izbačene varijable:

• Ispravke_Bil_aktiva usled korelisanosti sa varijablom NPL_RACIO
  
• Krediti_industr usled korelisanosti sa varijablom Krediti_fiz_lici
• G_i_D_Ukupna_aktiva usled korelisanosti sa varijablom NPL_RACIO
• ROA usled korelisanosti sa varijablom RОЕ Pri eliminisanju korelisanih varijabli selekcija je zasnovana na ekspetskoj proceni kao i na deiskiminatornoj moći.

Konačan set varijabli je zatim normalizovan.

3.2 IRB Pokazatelj očekivanih gubitaka

Top down EWS se jednim delom oslanja na rezultat bottom up vežbe koja je opisana metodologijom Bottom up sistem ranog upozorenja za bankarski sektor Srbije i koja se nalazi u istom direktorijumu kao i ovaj dokument. Bottom up EWS sam po sebi i nije pravi EWS već bi po svojoj strukturi bio klasifikovan kao rejting sistem. Međutim on je osnova za dalje analize, između ostalog:

• kreiranje profila distribucije gubitaka banaka na osnovu izveštaja KA4;
• sagledavanja rizičnosti najvećih dužnika određene banke;
• sagledavanje rizičnog profila određene privredne grane, grada ili regije;
• proračuna prosečnih korelacija difolta⁹.

Varijabla koja se ovde koristi iz bottom up sistema je udeo očekivanih gubitaka pre povraćaja u regulatornom kapitalu. Udeo očekivanih gubitaka pre povraćaja se računa za period od godinu dana i funkcija je verovatnoće nastanka statusa neizmirenja obaveza za narednu godinu dana. Imajući u vidu da je rezultat bottom up EW sistema verovatnoća nastanka statusa neizmirenja obaveza za naredne dve godine bilo je potrebno preračunati ovu varijablu na period jedne godine pa potom izračunati gore navedeni udeo očekivanih gubitaka pre povraćaja preko IRB formule.

Važno je napomenuti da se udeo očekivanih gubitaka pre povraćaja koristi u drugoj fazi top down EWS, odnosno u fazi gde se računa verovatnoća nastanka kritičnog stanja banke (detaljnije objašnjenje u nastavku teksta u poglavlju: Projekcija kritičnosti banke prepravi ovo obavezno kasnije). U nastavku će biti prikazano izvođenje ove varijable.
Verovatnoća nastanka statusa neizmirenja obaveza za jednu godinu (na dalje PD parametar) kada je dostupna ova varijabla za dve godine se računa po sledećoj formuli:
\[ \begin{align} PD(0-1)=&1-S(0-1)\\ =&1-\sqrt{S(0-2)}\\ =&1-\sqrt{1-PD(0-2)}\\ \end{align}\tag{1} \] , gde je \(S(0-2)\) verovatnoća preživljavanja dužnika u naredne dve godine. Ova jednakost važi pod pretpostavkom da je: \[ S(1-2| 0-1)=S(1-2)=S(0-1) \tag{2} \] , odakle nužno sledi jednakost \((1)\). Dakle, pretpostavljamo da verovatnoća nastanka statusa neizmirenja obaveza nezavisna od dospeća kredita dužnika.

U nastavku su proračunati očekivani stresirani kapitalni zahtevi iz IRB formule pri čemu pretpostavljamo LGD vrednost 1 i vrednost dospeća od 2,5 godine¹⁰: \[\begin{align} \scriptsize K_i=EAD_i \cdot LGD_i &\cdot \scriptsize \left[N\left(\sqrt{\frac{1}{1-R}} \cdot G(PD_i) +\sqrt{\frac{R}{1-R}} \cdot G(0.999)\right) - PD_i \right]\\ & \cdot \scriptsize \frac{1+(M_i-2.5) b_i}{1-1.5 b} \end{align} \tag{3}\] , gde su:

• K - kapitalni zahtevi usled kreditnog rizika
  
• EAD - izloženost;
  
• LGD - procentualni gubitak usled nastanka statusa neizmirenja obaveza za koji pretpostavljamo vrednost 1;
  
• PD - Verovatnoća nastanka statusa neizmirenja obaveza iz jednačine (1);
• M - efektivna ročnost koju pretpostavljamo da je 2,5 godine;
• R - korelacija aktive između dužnika koja se računa prema sledećoj formuli;
  
• b - faktor ročnog prilagođavanja koji odražava uzicaj PD parametra koji se računa po formuli:

\[b_i= (0.11852 - 0.05478 \cdot \ln(PD_i))^2 \tag{4}.\] Konačno, željeni pokazatelj za banku na posmatrani datum računamo kao sumu očekivanih stresiranih kapitalnih zahteva:

\[ PAK_{2000}= \frac{RC}{\sum_{i=1}^{n}{K_i}} \tag{5}. \] Varijabla \(PAK_{2000}\) predstavlja udeo očekivanih gubitaka pre povraćaja (usled pretpostavke da je LGD=1) u regulatornom kapitalu. Ovaj pokazatelj služi kao svojevrsni pokazatelj adekvatnosti kapitala za korpu najvećih privrednih društava iz portfolija banke koji ulaze u 2000 najvećih dužnika.

Budući da su vrednosti PD parametra dostupne samo jednom godišnje, serija je dobijana pod pretpostavkom da je \(PD_i\) konstantan tokom sva četiri godišnja kvartala.

Proračun serije PD pokazatelja se obavlja pokretanjem skripta Pd_skript.R iz direktorijuma Utilities (vidi Figuru 3). Pošto se dobije baza PD parametara proračun opisan u jednačinama \((1)-(5)\) se izvršava u fajlu 3.7 Koncentracija.xlsb koji se nalazi u direktorijumu:

//bulitf01/KontrolaBanaka/Grupa za razvoj kvantitativnih modela/1. Early warning/1. Early Warning - razvoj/2. Top Down/1. Priprema podataka

, videti Figuru 2.

3.3 Makroekonomski podaci

Treća grupa podataka koji su uzeti u obzir pri modeliranju kritičnih banaka su makroekonomski podaci.

Varijable koje su razmatrane su:

• BDP_mg - međugodišnji bruto domaći proizvod;
• kurs - kurs dinara prema evru ;
• referentna_stopa - referentna kamatna stopa Narodne banke Srbije;
  
• BELIBOR_1w - BELIBOR;
  
• Inflacija_kv - Inflacija;
• IP - indeks industrijske proizvodnje;
  
• Euribor - tromesečni Euribor.

Za razliku od prethodno opisanog PD parametra koji nema kvartalnu vremenku dimenziju, ovim varijablama nedostaje panel komponenta obzirom da su iste za sve banke. Kao što je već napomenuto varijable su normalizovane u samom eksel fajlu. Fajl u kom su snimljene vrednosti ovih varijabli,3.9. Macro podaci za R.xlsb, nalazi se u direktorijumu 1. Priprema podataka (videti Figuru 1).

4 Model

---

Top down model sistema ranog upozorenja se, kao što je već napomenuto, jednim delom oslanja na izlaz bottom up sistema ranog upozorenja. Načelna šema je prikazana na Figuri 4.

Figura 4. Šema top down sistema ranog upozorenja

Levi deo šeme prikazuje pojednostavljen proces i rezultat bottom up vežbe. Rezultat bottom up vežbe, PD parametar za horizont od dve godine, se prvo svodi na jednu godinu a zatim preračunava u varijablu Udeo očekivanih gubitaka pre povraćaja koristeći teoriju jednofaktorskog portfolio modela, postupkom opisanim u sekciji 3.2.
Ova varijabla ulazi u drugu fazu razvoja top down sistema, koji će u nastavku biti opisan, kao jedna od konačnog skupa izabranih nezavisnih varijabli.

Razvoj modela se sastoji iz dve faze. U prvoj fazi se vrši izbor observacija (redova) na osnovu modela Kohonen mapa (u daljem u tekstu:SOM, skraćeno) kao i predselekcija varijabli koje ispoljavaju visoku diskriminaciju dobrih i kritičnih banaka u vidu njihove raspodele po mapi. Ovim postupkom delimično diskriminišemo banke na izvesno zdrave i neizvesno zdrave i kritične.
Varijable koje su korišćene pri modelu SOM u prvoj fazi ne ulaze u razmatranje u drugoj fazi kod izbora varijabli koje ulaze u logističku regresiju.
Druga faza ima za cilj da dodatno odvoji neizvesno kritične banke od kritičnih. Osim toga, rezultat ove, završne faze, je i verovatnoća kritičnosti banke kao i njena presečna (cut-off) vrednost ove verovatnoće preko koje svaku banku smatramo kao predmet budućih neposrednih (i posrednih) kontrolisanja.

4.1 Prva faza razvoja modela - SOM

U fazi 1 se putem iterativnog dvostepenog klasterovanja dolazi do međurezultata. Za potrebe analize iskorišćene su kohonen mape i hijerarhijsko klasterovanje.

Kohonen mape su detaljno opisane u Anexu 3. Funkcionalno, one predstavljaju vid klasterovanja podataka. Međutim njihova prednost u odnosu na konvenkcionalne metode klasterovanja (k-mean ili hijerarhijske metode) je mogućnost vizuelnog prikaza multidimenzionalnih varijabli u dvodimenzionalnoj (najčešće) heksagonalnoj grid strukturi. Kao i kod konvencijalnih klaster metoda i Kohonen mape spadaju u nesupervizovane metode mašinskog učenja.¹¹

Ovu fazu započinjemo sa kompletnim setom varijabli i podataka koji su prošli prethodnu fazu selekcije na osnovu korelacije. Set varijabli se dodatno skraćuje za one varijable koje imaju slabu diskriminatornu moć (vrednost AUROC-a manja od 0.55)¹² što nam ostavlja 24 varijable sa po 927 opservacija. Observacije se projektuju na dvodimenzionalni grid heksagona koji predstavljaju jedinstvene celine observacija sa sličnim karakteristikama (klastere). Grid se sastoji iz 36 (6x6) ovakvih klastera.

Dimenzije grida (6x6 heksagona) su odabrane kao najmanje koje su zadovoljavale uslov se u heksagonu nalazi minimum 5 opservacija. Kohonen mapa zahteva prethodnu normalizaciju varijabli koja je odrađena u pripremnoj fazi obrade podataka. Model je proračunat R funkcijom som iz paketa kohonen. Pri izradi modela potrebno je voditi računa o sledećim detaljima:

• SOM se evaluiraju stohastičkim učenjem, što znači da će izgled mape sa istim parametrima i podacima biti različit svaki sledeći put kada se proračuna, ovde smo radi reprodukcije zamrzli stohastičnost uzorkovanja pri evaluaciji modela SOM komandom set.seed(3)
  
• Određeni parametri u funkciji som se biraju ekspertski, ovde su ostavljene default preporuke i algoritmi za biranje vrednosti datih parametara. Dva parametra su dodatno podešena sa sledećim komandama: keep.data = TRUE i rlen=300. Prva komanda određuje koliko puta će se uzorkovati observacije i povećana je sa default vrednosti (100) da bi se osigurala konvergencija; druga komanda je od manje važnosti i njome osiguravamo da nam rezultujući objekat iz funklcije poseduje i originalne opservacije pored pripisanog klastera (default slučaj je broj reda opservacije pored pripisanog klastera).

Konačno cilj ove faze je dvojak:

• Prvo, želimo da dobijemo mapu koja što bolje diskriminiše zdrave od kritičnih banaka. Pri tome rešavamo i problem neizvesnosti pri samom etiketiranju banke kritičnom.
  
• Drugo, želimo da se koncentrišemo na selekciju kritičnih banaka među bankama koje načelno ispoljavaju loše performanse.

Postizanje gore navedena dva cilja se vodimo sledećim postupkom. 1) krenemo od svih varijabli koje imaju zadovoljavajući nivo diskriminatornosti iskazane vrednošću AUROC parametra; 2) proračunamo SOM za ovu kombinaciju varijabli i plotujemo rezultat na U-Matrix plot (videti aneks o tumačenju U-Matrix plota-reći Sanji da napiše o njemu koju reč ako se sama ne seti); Uradimo dodatnu klaster analizu heksagon jedinica koja ima za cilj da dodatno grupiše slične heksagone; 3) na osnovu izgleda U-Matrix plota i karakteristika grupisanih heksagonalnih jedinica zaključiti da li ostaviti trenutni model SOM-a ili odstraniti varijablu sa najlošijim AUROC parametrom i ponoviti postupak 1)-3).
Postupak 1)-3) se ponavlja dok ne dobijemo zadovoljavajući izgled SOM mape i kao takav sličan je stepwise postupku sa backward smerom kod multivarijacionih regresija. Budući da postoji određen stepen subjektivnosti u trećem koraku gore opisanog postupka potrebno je jasno definisati i pridržavati se smernica selekcije SOM mape iz niza potencijalnih modela. Kriterijumi rasuđivanja o pogodnosti mape se mogu svrstati u kriterijum homogenosti, kriterijum proporcionalnosti i kriterijum jednostavnosti. Naime, mapa mora što efikasnije da diskriminiše zdrave od kritičnih banaka tako da su poželjnije mape koje imaju u jedinicama pretežno zdrave ili pretežno kritične banke - kriterijum homogenosti SOM jedinica. Ovo principijalan je teško ispuniti u potpunosti, ukoliko bi to bio slučaj onda bi i prestala potreba za drugom fazom EWS u kojoj koristimo LASSO regresiju. Međutim ukoliko su u određenu heksagonalnu jedinicu upale opservacije kritičnih banaka, onda se vodimo smernicom da njihov udeo morao biti što veći. Heksagonalne jedinice sa dovoljnim udelom kritičnih banaka (najmanje 10%) etiketiramo kao rizične. Dalje, sami klasteri moraju biti homogene celine heksagonalnih jedinica. Detaljnije, ovo znači da bi u klasteru trebalo da se nalaze samo indentifikovane rizične heksagonalne jedinice ili samo indentifikovane zdrave jedinice. Kriterijum proporcionalnosti podrazumeva da u mapi ima što manje kritičnih jedinica, budući da je broj kritičnih opservacija znatno manji od broja zdravih. Broj klastera je fiksiran na 5 za svaku iteraciju. Kriterijum jednostavnosti nam daje smernicu da između dva slična modela po performansama biramo jednostavniji (sa manje varijabli). Kao što je prethodno napomenuto cilj je da se subjektivnost pri izboru ograniči objekrivnim kriterijumima što je moguće više zbog, između ostalog, reprodukcije modela.

Potrebno je napomenuti da se drugi nivo klasterovanja (ovde smo se odlučili za hijerarhijski jer je uključen kao sastavni deo R funkcije iz paketa kohonen) odvija nad samim vektorima pondera svake heksagonalne jedinice, ovaj vid klasterovanja karakteristika heksagona SOM-a se naziva i U-mat clastering. (ovde ujednačiti sa sanjom naziv) Takođe, kod konačnog izora SOM-a vrši se fine tuning kod graničnih jedinica hijerarhijskog klastera gde se određene jedinice pridružuju susednom klasteru ukoliko se u analizi došlo do zaključka da su po broju kritičnih opservacija sličnije susednom klasteru.

Rezultat ove faze je izbor SOM modela sa sledećim varijablama:

• Krediti_trg;
• Neto_NPL_u_odnosu_na_bilansni_kapital;
• Pokrice_bruto_NPL_njihovim_ispravkama_vrednosti;
• Krediti_fiz_lici;
• ROE.

Takođe, sve verzije SOM-a sadrže kategoričku varijablu koja sadrži informaciju o pripadnosti banke (državna, privatna ili strana banka). Na Figuri 5 levo su prikazane početni SOM koji ima komplet set prethodno izabranih varijabli i odabrani SOM za drugu fazu, desno, sa 5 varijabli (izuzevši kategoričku varijablu) koji ujedno čini i finalni rezultat ove faze.

Figura 5. Izbor odgovarajuće SOM mape eliminacijom varijabli sa najmanjom vrednošću AUROC parametra

Na desnom plotu Figure 5 uočavamo da su se kritične banke koncentrisale u levoj trećini plota uz izuzetak četvrte heksagonalne jedinice gore (gledano sa leva na desno). Kao kritične klaster celine razmatramo crveni, plavi i ljubičasti klaster. Međutim, budući da je ljubičasti klaster sadrži samo dve kritične jedinice ovde se vodimo ekspertskom odlukom te ga rastavljamo na dve kritične i 3 zdrave heksagonalne jedinice koje ne ulaze u drugu fazu. Ova podela je i delom opravdana činjenicom da je ljubičasta klaster celina na granici između kritičnog i zdravog dela uzorka. Dodatno dve jedinice mimo svoje klaster grupe, zelena u gornjem levom uglu i crvena u sredini mape, etiketiramo kao zdrave usled nedostatka kritičnih banaka u njima.
Prethodnom analizom stižemo do konačnog izbora SOM-a prikazanog na Figuri 6.

Figura 6. Korigovani klasteri SOM mape za konačnu selekciju opservacija. Opservacije levo su etiketirane kao neizvesno kritične. Stoga, nad njima se vrši dalja analiza primenom LASSO logističke regresije u drugoj fazi. Opservacije desno se tretiraju kao zdrave banke i kao takve nisu predmet dalje analize. Četvrta jedinica s leva na desno u gornjem kraju mape predstavlja izuzeta i njene opservacije se takođe označavaju kao kritične.

Crvenom bojom označene su opservacije koje ispoljavaju osobine zdravih banaka. Sa Figure 6 uočavamo da je je površina koju obuhvata ova grupacija oko 2 trećine površine mape odnosno varijabiliteta, takođe od 927 observacija, u crvenoj grupaciji pripada 552, odnosno 60% osto ukupnog uzorka. Od 57 kritičnih opservacija, u crvenu grupu je ušlo samo 6 (oko 1% od pripadajućih opservacija) dok je preostali deo upao u neizvesno kritičnu trećinu crne površine na figuri 6 (oko 14% od pripadajućih opservacija).
Leva (crna) površina SOM-a predstavlja početni uzorak za drugu fazu modela u koji ima za cilj dodatnu i konačnu diskriminaciju uzorka na zdrave i kritične banke.

4.2 Drauga faza razvoja modela - LASSO

U provoj fazi teoriju SOM je korišćena u cilju fokusa na deo uzorka koji je sa stanovništva upravljanja rizikom i supervizije banaka od presudnog značaja. Ovde se analiza produbljuje.

Ovaj deo analize ima ta cilj da dodatno-preciznije izdvoji kritične banke iz klastera potencijalno kritičnih banaka. Takođe, budući da je uzorak sabsetovan, prethodna analiza selekcije varijabli bi morala dodatno da se ponovi na podgrupi originalnog uzorka. Lasso logistička regresija nam nudi dve pogodnosti, prva se odnosi na automatsku selekcije podskupa varijabli na osnovu regularizacije. Druga pogodnost je proračun verovatnoća i posledično presečne vrednosti istih u cilju izbora kritičnih banaka.

Rezultat Lasso-a u velikoj meri zavisi od podešavanja parametra λ. U praksi se vrednost ovog parametra najčešće određuje metodom unakrsne validacije (engl. cross-validation), vidi Aneks B.

Analiza počinje opservacijama iz kritične (leve) strane SOM-a. Uzorak broji 375 opservacija od čega su 51 kritične banke. Dodatno, budući da Lasso sam vrši selekciju varijabli uzimamo skup svih varijabli koje nisu ušle u konačan model SOM-a. Ovde, naravno, ne koristimo varijable koje su već izbačene usled preterano velike korelacije u fazi izrade SOM modela kako bismo izbegli korelaciju samih modela.

Pri proračunu modela koristimo cv.glmnet funkciju iz glmnet paketa. Kao kriterijum izbora parametra λ u unakrsnoj validaciji koristimo AUROC, odnosno, biramo parametar λ koji poseduje najveću srednju vrednost AUROC parametra. Međutim ovako izabran parametar,lambda.min nosi sa sobom određen stepen nesigurnosti. Kao alternativu za izbor modela koristimo parametar lambda.1se koji uvek bira jednostavniji model (manje varijabli) a koji je u okolini jedne standardne greške od najboljeg izabranog modela lambda.min. Stoga, biramo jednostavniji model od najboljeg optimalnog a koji se, ipak, statistički značajno ne razlikuje od optimalnog modela.

Rezultat unakrsne validacije i izbor λ koeficijenta, prikazan je na Figuri 7.

Figura 7. Izbor druge faze modela. Rezultat unakrsne validacije R funkcijom glmnet pri izboru optimalne vrednosti parametra λ. Usled relativno malog uzorka parametar ispoljava veće standardne greške-šire barove. Kod unakrsne validacije 10% uzorka je korišćeno za validaciju u svakoj iteraciji. Leva vertikalna isprekidana linija predstavlja optimalnu vrednost parametra λ, dok desna vertikalna isprekidana linija predstavlja model koji je u okolini jedne standardne greške parametra λ.

Aneks

Aneks A

---

Samo-organizujuće mape

---

Samo-organizujuće mape (engl. Self-organizing maps; u daljem tekstu: SOM) su tip neuronskih mreža koje se zasnivaju na ideji kompetitivnog učenja. Glavni cilj SOM-a je transformacija podataka iz višedimenzionalnog prostora u jednodimenzionalni ili dvodimenzionalni prostor odnosno u prostor manjeg broja dimenzija. Stoga su ove mape poznate i kao metodi za redukciju dimenzija. Najpoznatiji tip SOM-a je Kohonenova neuronska mreža.

Neuronska mreža se sastoji iz dva sloja - sloja ulaznih podataka od n jedinica i sloja izlaznih podataka od m kategorija. Sloj ulaznih podataka je u potpunosti povezan sa Kohonenovim slojem izlaznih podataka. Svaki ulazni podatak ima svoje odgovarajuće mesto u mreži neurona. Iako je svaki neuron povezan sa ulaznim podacima, ne postoji međusobna povezanost između nerona.

Figura 8. Kohonenova neuronska mreža.
Izvor: Correa A., Gonzales A., Nieto C., & Amezquita D. 2012. Constructing a Credit Risk Scorecard using Predictive Clusters.
http://albahnsen.com/files/Constructing%20a%20Credit%20Risk%20Scorecard%20using%20Predictive%20Clusters.pdf.pdf

Ulazni podaci se mogu predstaviti vekorima od n dimenzija: \(x_1,x_2,...x_n\). Svaki neuron iz neuronske mreže je povezan sa i ulaznih jedinica preko skupa vektora težina \(W_1,W_2,...W_n\), pri čemu je \(W_j={w_{1,i},w_{2,i},...w_{j,i}}\), odnosno svaki neuron sadrži po jednu težinu za svaki od ulaznih podataka.
U prvom koraku se svim vektorima težina se pripisuje vrednost uz pomoć funkcije slučajnog odabira. Potom se za svaki vektor ulaznog podatka izračunava Euklidsko rastojanje od vektora težina uz formulu: \[d_j(x)=\sum_{i=1}^N(x_i - w_{ji})^2\]

Neuron čiji je vektor težina najbliži vektoru ulaznog podatka je neuron u kom će ulazni podatak biti mapiran i stoga nosi naziv pobednički neuron. Takmičenjem neurona se postiže alokacija ulaznih podataka u klastere u neuronskoj mreži. Alokacija se vrši u skladu sa karakteristikama ulaznih podataka. Samim tim, različiti neuroni Kohonenove mape će odražavati različite karakteristike ulaznih podataka.
Prilikom ažuriranja vektora težina odnosno njegovog približavanja odabranoj opservaciji - ulaznom podatku, drugi neuroni se takođe ažuriraju, ali u manjoj meri od neurona u kom se nalazi data observacija. U formuli za ažuriranje vektora težina \[\Delta w_{j,i}=\eta_{(t)}.T_{j,I(x)}.(x_j-w_{j,i}),\] gde je I(x) indeks neurona u kom je mapirana odabrana opservacija, stopa učenja (engl.learning rate) \[\eta(t)=\eta_o\cdot\exp(\frac{-t}{\tau_n}),\] funkcija je početne stope učenja \(\eta_0\), vremena (iteracije) t i nagiba \(\tau_n\).
Efekat svakog ponovljenog učenja odnosno iteracije je približavanje pobedničkog neurona i njegovih suseda vektoru ulaznog podatka X. Kao rezultat ovih ponavljanja, u neuronskoj mreži počinju da se obrazuju klasteri.Nastankom topološke mape se završava poslednja etapa samo-organizujućeg procesa.

U nastavku sledi slikoviti prikaz prethodno opisanog algoritma.

Figura 9. SOM algoritam učenja.
Izvor: Bullinaria J. 2016. Introduction to Neural Computation. http://www.cs.bham.ac.uk/~jxb/inc.html

U dvodimenzionalnom prostoru ulaznih podataka se nalaze četiri opservacije, dok su kružićima označeni vektori težina određeni funkcijom slučajnog odabira (sl.1.). Odabrali smo jednu od opservacija (označena sa x na sl.2.) i pronašli njoj najbliži neuron (u obliku dijamanta). Taj neuron se za neko rastojanje d približava datoj opservaciji, dok se njegovi susedi za neko manje rastojanje takođe približavaju polaznoj tački. Na sl.3. je ponovljen postupak nasumičnog odabira opservacije, pronalaska njoj najbližeg neurona, njegovog približavanja datoj opservaciji, kao i približavanja susednih neurona toj opservaciji. Iterativim postupkom (sl.4.) prostor ulaznih podataka se preslikava u Kohonenovu mapu.

Etape algoritma SOM su:

• inicijalizacija - funkcijom slučajnog odabira se bira vrednost za početni vektor \(w_j\);
• odabir uzorka - iz skupa ulaznih podataka se bira vektor x;
• pronalazak neurona - traženje neurona I(x) sa vektorom težina najbližim vektoru ulaznog podatka x;
• ažuriranje - primena formule za ažuriranje vektora težina, i
• ponavaljanje - povratak do drugog koraka i sprovođenje postupka iteracije do ispunjenja kriterijuma konvergencije.

SOM putem organizacije velikog broja podataka u klastere pružaju pojednostavljeni vizuelni pregled istaknutih karaterstika, koji je pogodan za dalju analizu. Prednost SOM-a se ogleda u generalizaciji podataka odnosno mogućnosti razvrstavanja novih ulaznih podataka u postojeće klastere. Iz ovog razloga, SOM se koriste i za potrebe predviđanja. Ipak, kao nedostaci se ističu nemogućnost predstavljanja velikog broja varijabli u dvodimenzionalnom prostoru kao i upotreba samo numeričkih varijabli.

U-matrica (engl. Unifed distance matrix) predstavlja grafički prikaz udaljenosti ulaznih podataka u Kohonenovoj mapi. Drugim rečima, U-matrica prikazuje udaljenost svakog neurona od njegovih suseda. Glavno svojstvo U-matrice je da pozicije projektovanih ulaznih podataka odražavaju izvornu topologiju podataka, što je posledica algoritma učenja. Obojene paletom sive boje, oblasti između kojih ne postoji veliko rastojanje, ukazuju na postojanje sličnih grupa neurona. Slično tome, oblasti koje su međusobno udaljene indikatori su znatnih razlika između grupa neurona. U-matrica se u velikom broju slučajeva koristi za identifikaciju klastera u neuronskoj mreži.

Figura 10. [U-matrica] (2014). https://forum.processing.org/two/discussion/6735/hexagon-grid-with-almost-random-colour-fills-same-colour-adjacencies-minimized.

Heatmap je tip SOM-a koja omogućava vizuelni pregled distribucije jedne varijable na mapi. U najvećem broju slučajeva, sačinjava se veći broj tzv. heatmaps, koje se potom porede u cilju izvođenja zaključaka o istaknutim oblastima na mapi. važno je napomenuti da se topološka mesta mapiranih ulaznih podataka ne menjaju sa promenom mape već se samo menjaju boje u zavisnosti od varijable koja je prikazana na mapi.

Figura 10. Heatmap

Aneks B

---

Sužavanje izbora varijabli primenom metodologije LASSO logističke regresije

---

U linearnom regresionom modelu \[Y=\beta_0+\beta_1{x_1} + ... + \beta_p{x_p} + \epsilon \tag{A1.1.}\]

gde se ocene koeficijenata u većini slučajeva dobijaju putem metoda ONK, moguće je primeniti i druge alternativne procedure, kojima se povećava prediktivna i objašnjavajuća moć modela.

Tri najvažnije metode koje ocene dobijene metodom ONK bolje prilagođavaju podacima su:

• metode selekcije podskupa varijabli;
  
• metode regularizacije;
  
• metod redukcije dimenzionalnog prostora.

Metod selekcije podskupa varijabli obuhvata metod najboljeg izbora, metode stepenaste selekcije (forward i backward), kao i njihovu kombinaciju. Za dovoljno veliki broj varijabli p, zbog prekomerno velikog broja mogućnosti, umesto metoda najboljeg izbora, koriste se metodi stepenaste selekcije. Za razliku od metoda setepenaste selekcije unapred, koji polazi od stanovišta da model ne sadrži varijable, već se one postepeno dodaju, metod stepenaste selekcije unazad sadrži sve varijable p, a potom se u svakoj sledećoj iteraciji oduzima varijabla koja ima najmanju prediktivnu moć.

Od modela koji se razmatraju bira se onaj model koji ima najmanju sumu kvadrata reziduala (RSS), odnosno najviši koeficijent determinacije \(R^2\), dok se za optimalni model bira model sa najnižim vrednostima informacionih kriterijuma (AIC i BIC), i najvišim prilagođenim koeficijentom determinacije \(R^2\).

Alternative prethodno opisanim metodama predstavljaju metode regularizacije, koje se zasnivaju na ideji smanjenja ocena koeficijenata. U nastavku ćemo detaljnije opisati dve najpoznatije tehnike snižavanja ocena koeficijenata: Grebena (engl. Ridge) regresija i Lasso (engl. Least Absolute Shrinkage and Selection Operator) regresija.

Grebena regresija

Podsetimo se da se metodom ONK, koeficijeti \(\beta_0\), \(\beta_1\),…, \(\beta_p\) ocenjuju tako što se minimizira suma kvadrata reziduala: \[RSS = \sum_{i=1}^n(y_i-\beta_0-\sum_{i=1}^p\beta_jx_{ij})^2 \tag{A1.2.}\]

Grebena regresija je veoma slična metodi ONK, ali se koeficijenti \(\hat{\beta}^R\) ocenjuju minimiziranjem sledeće sume kvadrata: \[\sum_{i=1}^n(y_i-\beta_0-\sum_{i=1}^p\beta_jx_{ij})^2 + \lambda\sum_{j=1}^p\beta_j^2 = RSS + \lambda\sum_{j=1}^p\beta_j^2 ,\tag{A1.3.}\]

gde je \(\lambda\ge0\) parametar koji određuje jačinu regularizacije.

Kao i kod metoda ONK, cilj grebene regresije je da prvi činilac odnosno suma kvadrata reziduala (RSS) bude što manja. Razlika između metoda ONK i grebene regresije je u postojanju drugog činioca, \(\lambda\sum_{j=1}^p\beta_j^2\), koji je mali kada su \(\beta_1\),.., \(\beta_j\) približne nuli. Parametar \(\lambda\) kontroliše uticaj koji prvi i drugi činilac u formuli A1.3. ostvaruju na ocene koeficijenata regresije. Za vrednost \(\lambda=0\), nema efekta regularizacije i ocene koeficijenata grebene regresije su identične ocenama koeficijenata dobijene primenom metode ONK. Za \(\lambda\rightarrow\infty\), uticaj regularizacije raste, a ocene koeficijenata se približavaju nultoj vrednosti.U tom slučaju, model ne bi sadržao nijednu varijablu. Za razliku od metoda ONK koji generiše samo jedan set ocena koeficijenata, metodom grebene regresije se za svaku vrednost \(\lambda\) dobija set ocena koeficijenata. Stoga je određivanje adekvatne vrednosti \(\lambda\) od izuzetne važnosti. Parametar \(\lambda\) se određuje metodom unakrsne validacije (engl. cross-validation), koja je objašnjena u nastavku.

Ocene koeficijenata dobijene metodom ONK nisu osetljive na promenu veličine, odnosno \(X_j\hat{\beta}_j\) ostaje nepromenjen bez obzira na konstantu c kojom \(X_j\) može biti ponderisan. Međutim, ocene koeficijenata iz grebene regresije su podložne promeni ukoliko se data varijabla \(X_j\) pomnoži sa konstantom c. Drugim rečima, \(X_j\hat{\beta}^R_{j,\lambda}\) zavisi ne samo od vrednosti \(\lambda\) već i od ponderisanja \(X_j\) varijable, pa čak i od ponderisanja drugih varijabli.Stoga, neophodno je pre primene grebene regresije, standardizovati varijable, koristeći formulu:

\[\tilde{x}_{ij}=\frac{x_{ij}}{\sqrt{\frac{1}{n}\sum_{i=1}^n(x_{ij}-\bar{x}_{ij})^2}}\tag{A1.4.}\]

U brojiocu se nalazi ocenjena standardna devijacija \(X_j\) varijable. Indukcijom se izvodi zaključak da će sve varijable imati standardnu devijaciju 1. Kao rezultat toga, standardizovane ocene koeficijenata neće zavisiti od promene veličine varijabli.

Razlog iz kog je grebena regresija bolji metod za određivanje ocene koeficijenata regresije od metoda ONK je postojanje tzv. trade-off-a između pristrasnosti ocene i njene varijanse. Kada su ocene koeficijenata dobijene primenom metode ONK jednake ocenama koeficijenata iz grebene regresije (\(\lambda=0\)), varijansa je visoka ali ocena nije pristrasna. Sa povećanjem parametra \(\lambda\), fleksibilnost grebene regresije se smanjuje što dovodi do smanjenja varijanse ali i do povećanja pristrasnosti. Nakon određene vrednosti parametra \(\lambda\), njegovo dalje povećanje dovodi do većeg rasta pristrasnosti ocene od smanjenja varijanse te ocene. Budući da je srednja kvadratna greška (engl. mean squared error - MSE) funkcija varijanse i kvadrata pristrasnosti, bira se \(\lambda\) za koju srednje kvadratna greška uzima najmanju vrednost.

Figura 11. Srednje kvadratna greška: kvadrat pristrasnosti ocene (crna linija), varijansa ocene (zelena linija) i srednje kvadratna greška (crvena linija)
Izvor: James G., Witten D., Hastie T., & Tibshirani R. 2013. An Introduction to Statistical learning, 218.

Lasso regresija

Glavni nedostatak grebene regresije se ogleda u nemogućnosti isključenja nijedne od razmatranih varijabli. Naime, sa povećanjem parametra \(\lambda\), koeficijenti će težiti ka nultoj vrednosti ali neće biti jednaki nuli osim u slučaju kada \(\lambda\rightarrow\infty\). Ocene koeficijenata iz lasso regresije se dobijaju minimiziranjem sledeće sume kvadrata: \[ \sum_{i=1}^n(y_i-\beta_0-\sum_{i=1}^p\beta_jx_{ij})^2 + \lambda\sum_{j=1}^p|\beta_j| = RSS + \lambda\sum_{j=1}^p|\beta_j| ,\tag{A1.5.} \]

Jedinu razliku lasso regresije u odnosu na grebenu regresiju predstavlja zamena činioca \(\beta_j^2\) činiocem \(|\beta_j|\).Kao i kod grebene regresije, i u lasso regresiji se smanjuju ocene koeficijenata, ali za dovoljno veliku vrednost parametra \(\lambda\) u lasso regresiji ocene koeficijenata mogu biti jednake nuli. Stoga, kao kod metoda selekcije podskupa varijabli, lasso regresijom se vrši odabir varijabli. Navedeno utiče na povećanje objašnjavajuće moći modela.

U lasso regresiji takođe važi prethodno opisano pravilo da za vrednost parametra \(\lambda=0\), ocene koeficijenata lasso regresije su identične ocenama koeficijenata dobijenih primenom metode ONK. Za dovoljno veliku vrednost parametra \(\lambda\), rezultat lasso regresije je nulti model budući da su sve ocene koeficijenata jednake nuli. Međutim, između ove dve ekstremne vrednosti, grebena regresija i lasso regresija se znatno razlikuju. Naime,u lasso regresiji sa povećanjem parametra \(\lambda\), pojedine varijable se isključuju¹³ budući da ocene njihovih koeficijenata postaju nulte vrednosti, dok u grebenoj regresiji ocene koeficijenata tih varijabli samo teže ka nuli. Dakle, u zavisnosti od parametra \(\lambda\), rezultat lasso regresije je model koji može sadržati bilo koji broj varijabli. Nasuprot tome, u grebenoj regresiji, parametar \(\lambda\) utiče samo na smanjenje vrednosti ocene koeficijenata ali model uvek sadrži sve varijable.

Koeficijent \(\beta_j\) se minimizira u lasso i grebenoj regresiji, respektivno, preko izraza:

min \(\sum_{i=1}^n(y_i-\beta_0-\sum_{j=1}^p\beta_jx_{i,j})^2\) ako je \(\sum_{j=1}^p|\beta_j|\le{s}\)\(\tag{A1.6}\)

min \(\sum_{i=1}^n(y_i-\beta_0-\sum_{j=1}^p\beta_jx_{i,j})^2\) ako je \(\sum_{j=1}^p\beta_j^2\le{s}\)\(\tag{A1.7}\)

Potrebno je istaći da za svaki parametar \(\lambda\) postoji neka vrednost s takva da će jednačine A1.5. i A1.6. dati iste ocene koeficijenata lasso regresije. Slično tome, za svaku vrednost parametra \(\lambda\) postoji vrednost s tako da jednačine A1.3. i A1.7. daju iste ocene koeficijenata grebene regresije. Grebena i lasso regresija se vrše u cilju pronalaženja ocena koeficijenata koje minimiziraju RSS uz ograničenje da \(\sum_{j=1}^p\beta_j^2\) odnosno \(\sum_{j=1}^p|\beta_j|\) ne budu veće od predviđene vrednosti s.
U nastavku sledi grafički prikaz odgovora na pitanje iz kog razloga ocene koeficijenata iz lasso, ali ne i grebene regresije, mogu biti jednake nuli.

Figura 12. RSS elipsa i ograničavajuća funkcija za lasso (levo) i grebenu (desno) regresiju. Plavom bojom su obeležene ograničavajuće oblasti, \(|\beta_1|+|\beta_2|\le{s}\) odnosno \(\beta_1^2+\beta_2^2\le{s}\), dok su crvene elipse konture RSS.
Izvor: James G., Witten D., Hastie T., & Tibshirani R. 2013. An Introduction to Statistical learning, 222.

\(\hat{\beta}\) je ocena koeficijenta dobijena primenom metoda ONK, dok elipse predstavljaju RSS. Sa udaljavanjem elipsi od ocene \(\hat{\beta}\), RSS se povećava. Figura u obliku dijamanta i krug predstavljaju ograničenja lasso i grebene regresije izražena u formulama A1.6. i A1.7. Za dovoljno veliko s, ograničavajući regioni bi sadržali \(\hat{\beta}\) tako da bi ocene iz grebene i lasso regresije bile identične ocenama iz metoda ONK. Ocene koeficijenata iz lasso i grebene regresije određene su tačkom spajanja elipse i ograničavajućeg regiona. Budući da je ograničavajuća regija grebene regresije kružnog oblika, tačka spajanja sa elipsom na nekoj od x i y osa nije moguća te stoga ocene koeficijenata grebene regresije ni u jednom trenutku neće biti jednake nuli. Za razliku od grebene regresije, ograničavajuća regija lasso regresije je oblika dijamanta sa uglovima na svakoj od osa, tako da tačka spajanja elipse i ograničavajuće regije može biti na nekoj od osa. U tom slučaju jedna od ocena koeficijenta bi bila jednaka nuli. U multidimenzionalnom prostoru, moguće je da istovremeno više ocena koeficijenata bude jednako nuli. Na grafikonu br. 2., na mestu spajanja elipse i ograničavajuće regije \(\beta_1=0\) tako da model sadrži samo varijablu \(\beta_2\).

Iz svega navedenog, može se zaključiti da se primenom lasso regresije ostvaruje veća objašnjavajuća moć modela budući da se istom vrši odabir varijabli. Međutim, kada je reč o prediktivnoj moći modela, u zavisnosti od tačnog broja varijabli koje bi trebalo da se nađu u modelu, lasso i grebena regresija mogu dati bolje ili lošije rezultate. Naime, ukoliko je tačan broj varijabli u modelu relativno mali, lasso regresija će pravilno odabrati relevantne varijable dok će ocene koeficijenata drugih varijabli biti jednake nuli. Nasuprot tome, ukoliko pak optimalni model sadrži veliki broj varijabli, grebena regresija će dati bolji rezultat budući da ocena koeficijenata nijedne od tih varijabli neće biti izjednačena sa nulom. Međutim, budući da tačan broj varijabli koji konačan model treba da sadrži nikada nije unapred poznat, metodom unakrsne validacije moguće je odrediti koji tip regresije je potrebno primeniti na određenom skupu podataka.

Određivanje parametra regularizacije (\(\lambda\))

Da bi se primenila grebena odnosno lasso regresija, potrebno je najpre odabrati vrednost parametra \(\lambda\). Vrednost parametra \(\lambda\) se određuje tako što se bira skup mogućih vrednosti koje parametar \(\lambda\) može uzeti a potom se za svaku od tih vrednosti \(\lambda\) izračunava greška unakrsne validacije. Za konačnu vrednost parametra \(\lambda\) se bira ona vrednost za koju je greška unakrsne validacije najmanja. U nastavku će ukratko biti izložene dve glavne metode unakrsne validacije.

Pod pojmom validacija podrazumeva se nasumično deljenje skupa opservacija na testni uzorak i validacioni uzorak. U sledećoj etapi se pronalazi model koji je prilagođen opservacijama iz testnog uzorka, a potom se taj model za potrebe predviđanja primenjuje na opservacije iz validacionog uzorka. Ponavljanje postupka nasumičnog odabira testnog i validacionog uzorka uzrokuje varijacije u kretanju srednje kvadratne greške, koja predstavlja grešku koja proističe iz primene ovog pristupa. Osim navedenog, ukoliko se statistički metod primeni na manji testni uzorak, performanse modela će biti lošije i stoga će srednja kvadratna greška biti veća. U cilju otkalanjanja iznetih nedostataka, primenjuju se dva pristupa unakrsne validacije i to pojedinačna unakrsna validacija (Leave-one-out cross validation) i k-struka unakrsna validacija (k-fold cross validation).

Kod pojedinačne unkarsne validacije, set opservacija se deli na testni i validacioni uzorak, ali tako da testni uzorak sadrži n-1 opservacija dok se validacija izvodi na jednoj opservaciji. Ovako opisani postupak se ponavlja n puta, i u svakoj od iteracija se izračunava srednje kvadratne greška. Greška validacije se potom izračunava pronalaženjem aritmetičke sredine srednje kvadratnih greški: \[CV_{(n)}=\frac{1}{n}\sum_{i=1}^nMSE_i\]

Pristup k-struke unakrsne validacije podrazumeva nasumično deljenje skupa opservacija u k grupa, približno iste veličine. Prva grupa se označava kao validacioni uzorak a model se testira na preostalih k-1 grupa. Srednje kvadratna greška se potom izračunava na opservacije iz validacionog uzorka, pri
čemu se taj postupak ponavlja k puta. Greška validacije se potom izračunava na sledeći način: \[ CV_{(k)}=\frac{1}{k}\sum_{i=1}^kMSE_i \]

Lako je uvideti da je pojedinačna unakrsna validacija specijalan slučaj k-struke unakrsne validacije za k=n. Međutim, u najvećem broju slučajeva, kod k-struke unakrsne validacije, k=5 ili k=10.Prednost k-struke unakrsne validacije u odnosu na pojedinačnu, ogleda se u nižoj varijansi a samim tim i nižoj vrednosti srednje kvadratne greške.

References

Altman, Edward I. 1968. “Financial Ratios, Discriminant Analysis and the Prediction of Corporate Bankruptcy.” The Journal of Finance 23 (4). Wiley Online Library: 589–609.

Arabi, Khalafalla Ahmed Mohamed. 2013. “Predicting Banks’ Failure: The Case of Banking Sector in Sudan for the Period (2002-2009).” Journal of Business Studies Quarterly 4 (3). Journal of Business Studies Quarterly (JBSQ): 160.

Committee, Basel, and others. 2002. “Supervisory Guidance on Dealing with Weak Banks.” Report of the Task Force on Dealing with Weak Banks, March.

Cox, David R. 1992. “Regression Models and Life-Tables.” In Breakthroughs in Statistics, 527–41. Springer.

Friedman, Jerome H, Trevor Hastie, and Rob Tibshirani. n.d. “Glmnet: Lasso and Elastic-Net Regularized Generalized Linear Models, 2010b.” URL Http://CRAN. R-Project. Org/Package= Glmnet. R Package Version, 1–1.

Gordy, Michael B. 2003. “A Risk-Factor Model Foundation for Ratings-Based Bank Capital Rules.” Journal of Financial Intermediation 12 (3). Elsevier: 199–232.

Halling, Michael, and Evelyn Hayden. 2006. “Bank Failure Prediction: A Two-Step Survival Time Approach.”

Holopainen, Markus, and Peter Sarlin. 2017. “Toward Robust Early-Warning Models: A Horse Race, Ensembles and Model Uncertainty.” Quantitative Finance 17 (12). Taylor & Francis: 1933–63.

Jagtiani, Julapa, James Kolari, Catharine Lemieux, Hwan Shin, and others. 2003. “Early Warning Models for Bank Supervision: Simpler Could Be Better.” Economic Perspectives-Federal Reserve Bank of Chicago 27 (3). THE FEDERAL RESERVE BANK OF CHICAGO: 49–59.

Kiang, Melody Y, Dorothy M Fisher, and Michael Y Hu. 2004. “Using an Extended Self-Organizing Map Network to Forecast Market Segment.” Neural Networks in Business Forecasting. IGI Global, 142.

Lane, William R, Stephen W Looney, and James W Wansley. 1986. “An Application of the Cox Proportional Hazards Model to Bank Failure.” Journal of Banking & Finance 10 (4). Elsevier: 511–31.

Lee, Kidong, David Booth, and Pervaiz Alam. 2004. “Backpropagation and Kohonen Self-Organizing Feature Map in Bankruptcy Prediction.” Neural Networks in Business Forecasting. IGI Global, 158.

Martin, Daniel. 1977. “Early Warning of Bank Failure: A Logit Regression Approach.” Journal of Banking & Finance 1 (3). Elsevier: 249–76.

McNelis, Paul D. 2005. Neural Networks in Finance: Gaining Predictive Edge in the Market. Academic Press.

Moinescu, Bodgan. 2007. Early Warning System of Caampl Rating Downgrade Events. National Bank of Romania.

Odom, Marcus D, and Ramesh Sharda. 1990. “A Neural Network Model for Bankruptcy Prediction.” In Neural Networks, 1990., 1990 Ijcnn International Joint Conference on, 163–68. IEEE.

(OeNB), Oesterreichische Nationalbank. 2004. “New Quantitative Models of Banking Supervision.” Vienna, July.

Ploeg, Stefan van der. 2010. Bank Default Prediction Models. Erasmus University.

Sahajwala, Ranjana, and Paul Van den Bergh. 2000. Supervisory Risk Assessment and Early Warning Systems. Citeseer.

Sarlin, Peter, and Tuomas A Peltonen. 2013. “Mapping the State of Financial Stability.” Journal of International Financial Markets, Institutions and Money 26. Elsevier: 46–76.

Tam, Kar Yan. 1991. “Neural Network Models and the Prediction of Bank Bankruptcy.” Omega 19 (5). Elsevier: 429–45.

Tan, RPGH, Jan van den Berg, and Willem-Max van den Bergh. 2002. “Credit Rating Classification Using Self-Organizing Maps.” Neural Networks in Business: Techniques and Applications. IGI Global, 140–53.

Tong, Xiaoming. 2015. “Modeling Banks’ Probability of Default.” Applied Economics and Finance 2 (2): 29–51.

Vesanto, Juha, and Esa Alhoniemi. 2000. “Clustering of the Self-Organizing Map.” IEEE Transactions on Neural Networks 11 (3). Ieee: 586–600.

Vilén, Markus, and others. 2010. “Predicting Failures of Large Us Commercial Banks.”

Wehrens, R. 2007. “Kohonen: Supervised and Unsupervised Self-Organising Maps.” R Package Version 2 (2).

West, David, and Cornelius Muchineuta. 2002. “Credit Scoring Using Supervised and Unsupervised Neural.” Neural Networks in Business: Techniques and Applications. IGI Global, 154.

Zaghdoudi, Taha. 2013. “Bank Failure Prediction with Logistic Regression.” International Journal of Economics and Financial Issues 3 (2). Econjournals: 537.

---

1. Od engleskog naziva Early warning systems koji predstavljaju opširniji pojam od onog koji ovde opisujemo. Early warning sistemi imaju široku primenu u meteorologiji za (predviđanje oluja), seizmologiji, medicini, ekologiji…↩

2. Pod logit modelima implicitno podrazumevamo i probit modele koji za link funkciju imaju Gausovu normalnu funkciju i konceptualno se ne razlikuju od logit modela↩

3. engl. k-fold cross-validation↩

4. Videti Aneks A1.↩

5. Pri tome je potrebno voditi računa o formatu datuma kao i o nazivima varijabli. Format datuma pre čuvanja u Data.csv mora biti tipa: 2018-3-28. Nazive varijabli iz pivot tabele u fajlu 4. Podaci.xlsb iz foldera 1. Priprema podataka treba zameniti nazivima koji se nalaze u sheetu Nazivi varijabli istog fajla pre čuvanja tabele u Data.csv fajl.↩

6. Ovo je bio neophodan korak jer su makrovarijable nezavisne od banaka. Ukoliko bismo ih normalizovali u R-u kao preostale varijable poslovanja banaka dobili bismo iskrivljenu sliku jer bi broj banaka koji se menja iz kvartala u kvartal pri proračunu momenata centralne tendencije davao veću težinu onim opservacijama koje se nalaze u kvartalu sa više banaka.↩

7. KRI pokazatelji predstavljaju širok spektar racija i pokazatelja poslovanja banaka. Oni se dele na osnovne i dopunske. Ovde smo uzeli osnovne pokazatelje. Veliki problem pri kreiranju baze je bio nepostojanje serije većine ovih pokazatelja pre 2012. godine pa je bilo neophodno računanje većine pokazatelja za taj period.↩

8. Limit je postavljen kao pokazatelj adekvatnosti kapitala od 12% koji je važio kao minimalni propisani nivo tokom većine posmatranog istorijskog perioda, uvećan za 2,5 procentnih poena zaštitnog sloja kapitala ispod kojeg banke nisu mogle da vrše raspodelu dobiti. Zaštitni slojevi kapitala koji su uvedeni sa Bazel III standardima nisu bili u primeni tokom najvećeg dela istorijske serije podataka, zbog čega isti nisu mogli biti korišćeni prilikom razvoja modela.↩

9. Striktno govoreći ovde pravimo grešku u izražavanju, pravilan izraz bi bio korelacija latentnih faktora koji mogu a ne moraju biti aktiva samih privrednih društava.↩

10. Basel III : A global regulatory framework for more resilient banks and banking systems. (BCBS)↩

11. Načelno posmatrano, postoje i supervizovane Kohonen mape ali ova grupa modela je poznata po primeni prevashodno kao nesupervizovana/klaster metoda mašinskog učenja.↩

12. Pojedine varijable su ispoljavale S oblik ROC krive što implicira nelinearnu vezu sa indikatorom kritičnosti. Usled S oblika ROC krive, ove varijable su imale vrednost AUROC-a manju od praga 0.55. Budući da Kohonen mape modeliraju nelinearne efekte pokušana je verzija razvoja modela sa ovim varijablama, međutim krajnji rezultat je bio isti.↩

13. smanjenjem parametra \(\lambda\), varijable se dodaju sve dok \(\lambda\) nije jednaka nuli i tada su sve varijable uključene u model↩