Kontrola tačnosti rezultata u simulacijama Monte Karlo Текст научной статьи по специальности «Математика»

VOJNOTEHNIČKI GLASNIK 2 / 10

KONTROLA TAČNOSTI REZULTATA U SIMULACIJAMA MONTE KARLO

Nikolić V. Nebojša, Ministarstvo odbrane Republike Srbije, Sektor za politiku odbrane, Institut za strategijska istraživanja, Beograd

UDC: 519.245/.246

Sažetak:

U radu je demonstrirana primena metode automatizovanog pona-vljanja nezavisnih simulacionih eksperimenata sa prikupljanjem statisti-ke slučajnih procesa, u dostizanju i kontroli tačnosti simulacionih rezul-tata u simulaciji sistema masovnog opsluživanja Monte Karlo. Metoda se zasniva na primeni osnovnih stavova i teorema matematičke stati-stike i teorije verovatnoće. Tačnost simulacionih rezultata dovedena je u direktnu vezu sa brojem ponavljanja simulacionih eksperimenata.

Ključne reči: simulacije Monte Karlo, kontrola tačnosti, masovno opslu-živanje.

Uvod

Savremene ratove karakteriše visok nivo intenziteta naprezanja s naga, nelinearnost i asimetričnost dejstava, dinamičnost i rela-tivna kratkotrajnost uz oduvek prisutnu složenost i neizvesnost. Potreba za proučavanjem kompleksne fizionomije savremenog ratovanja nameće niz zahteva istraživačima. Simulacione metode pokazale su se kao veo-ma pogodne u modelovanju složenih sistema i procesa u kojima postoje faktori stohastičke prirode.

Međutim, simulacione metode imaju i jedan nedostatak; to je problem kontrole tačnosti simulacionih rezultata, što je posebno izraženo u simulaciji stohastičkih sistema i procesa. Preokupirani rešavanjem slože-nosti modela, istraživači često zanemaruju pitanje obezbeđenja tačnosti izlaznih simulaconih rezultata. Ipak, problem tačnosti simulacija prepo-znat je u naučnim krugovima, što je rezultiralo nizom pokušaja njegovog rešavanja. Jedno od prvih otvorenih upozorenja svima koji se bave simu-lacijom ili koriste njene rezultate, uputio je Gaither B., 1990, glavni ured-nik časopisa ACM Performance Evaluation Review, u svom članku „Empty empiricism" 0, u kojem kaže: „...Nije mi poznata ni jedna druga in-ženjerska ili naučna oblast u kojoj je dopuštena tolika sloboda u tumače-nju rezultata kao u simulaciji“.

nebojsa.nikolic11@mod.gov.rs

<9T)

U mnogim radovima iz oblasti simulacija pitanja tačnosti simulacio-nih rezultata se nedovoljno ili čak uopšte ne razmatraju, a često se ne prikazuje ni potpuni eksperimentalni opis simulacionih eksperimenata. Ova situacija, koja je sama po sebi problem, detaljno je analizirana u ra-du 0, gde je istaknuto da se u preko 70% publikacija nije vodilo računa o, blago rečeno, problemima tačnosti rezultata simulacije, pa su autori ovo stanje u oblasti simulacije nazvali KRIZOM. Time je potvrđen i navedeni utisak Gaithera, kao i aktuelnost problema tačnosti rezultata dobijenih primenom simulacionih metoda.

Simulacije i matematička statistika

Simulacione metode postale su veoma aktuelne uporedo sa širom primenom računarske tehnike i praktično prate razvoj računara i softve-ra, što znači da su u stalnoj ekspanziji primene, ali i razvoja. Osnovna veza simulacija Monte Klarlo sa informatičkom oblašću jeste da se „osnovni materijal" (statistički uzorci) za metodu obezbeđuje informatič-kim sredstvima. Zato su ove metode poznate i pod sledećim terminima: računarska simulacija, simulacija stohastičkih događaja, stohastička simulacija, metoda Monte Karlo, simulaciono modelovanje, itd. U skladu sa sveprisutnom informatizacijom, metoda simulacionog modelovanja slučajnih procesa (metoda Monte Karlo) postala je vrlo popularna i širo-ko primenjena u raznim oblastima, a primenjuju je istraživači i praktičari različitih profila i matematičkih znanja. Jednu od najjednostavnijih formu-lacija statističke prirode eksperimenata na simulacionim modelima izre-kao je, početkom osamdesetih godina dvadesetog veka, Cooper R., 0: „Simulacija (simulacioni prolaz) jeste statistički eksperiment" („A simulation run is a statistical experiment, ...“, u poznatoj i često citiranoj knjizi, str. 288).

Krajnji proizvod primene ove metode je simulacioni model u formi pro-grama za računar, čiji je osnovni zadatak da oponaša (simulira) rad i pona-šanje proučavanog realnog sistema. Postoje brojni računarski jezici, kako opšti tako i specijalizovani za simulaciju, a stalno se pojavljuju sve bolji i moćniji specijalizovani simulacioni paketi. Međutim, može se pokazati da je ova popularnost i kontraproduktivna, jer je na neki način zaboravljeno, ili bar zanemareno statističko ishodište i statistička priroda ove metode.

Neodvojivi pojam, kad god se govori o statistici, jeste pojam mate-matičke verovatnoće. Naizgled jednostavan, ali pojam koji se u osnovnim akademskim kursevima određuje kroz bar četiri definicije: klasična, geo-metrijska, statistička (frekvencijalna) i aksiomatska definicija verovatno-će. Statistička, odnosno frekvencijalna definicija verovatnoće je najprime-renija potrebama problematike u ovom radu.

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

U odnosu na egzaktne (analitičke i numeričke) matematičke metode, glavni nedostatak simulacionih metoda je problematična tačnost rezulta-ta, odnosno nedovoljna spoznaja koliko je maksimalno odstupanje ili greška rezultata i koliki je nivo poverenja za te rezultate. Postoje brojni radovi, uglavnom u stranoj literaturi, koji su posvećeni upravo sagledava-nju i otklanjanju nedostataka po pitanju tačnosti simulacionih metoda. U tom smislu problematika primene i razvoja metoda simulacionog modelo-vanja je vrlo aktuelna. Kao potvrda ovog stava, citiraće se (u slobodnom prevodu) navodi iz dva rada referentnih autora, iz različitih perioda:

A) Početak osamdesetih godina 20. veka, Cooper R., 1981, 0 (str. 288): „...Verovatno je pošteno reći da opšti pokušaj da se realizuje potencijal vi-sokoefikasnih i informacijama bogatih simulacionih rezultata uz visok ste-pen kontrole simulacionog modela i ulaznih podataka, još nije ostvaren. To je oblast aktivnih istraživanja, ali još ne posebno produktivna u smislu obez-beđenja korisnih procedura za praktičare. U ovom poglavlju diskutovaće se o nekim statističkim pitanjima (ali, na nesreću, ne mnogo u smislu davanja odgovora): 1) Prvo pitanje je očigledno: Koliko dugo treba da se dosegne statistički ekvilibrijum (stacionarno stanje, primedba NN)? ... 2) Pretpostavi-mo da je pitanje dosezanja ekvilibrijuma rešeno. Koliko onda dodatnih dola-zaka klijenata u sistem treba simulirati da bi simulacioni rezultati bili bliski „pravim“ vrednostima? Drugim rečima, koliko veliki treba da bude uzorak? I da li je bolje uraditi jednu dužu, ili nekoliko kraćih simulacija“.

B) Godine 2000. Goldsman, Marshall, Seong-Hee i Nelson, 0 (str. 552) konstatuju: „...Uprkos našem uverenju, ima određeni broj stvari koje još treba odrediti: 1) dugopostojeći problem inicijalizacije (početni, prelazni period simulacije, primedba NN), .... 2) čak i pretpostavljajući da je problem inicijalizacije rešen, još uvek ostaje fundamentalno pitanje o tome kada je dovoljno podataka sakupljeno da bi se imao statistički validan uzorak. ... 3) nijedna od novih procedura izloženih u radu ne obuhvata di-rektno tehnike za smanjenje varijanse...“

Modeli koji su bili korišćeni u brojnim istraživanjima o tačnosti simulacionih rezultata, po pravilu su bili modeli sistema masovnog opsluživa-nja (SMO)! Time je i inače izazovan problem tačnosti simulacionih rezultata postao još teži i izazovniji. Razlog tome je uticaj prelaznog režima rada SMO (detaljnije videti u 0). Robinson S., 0, klasifikuje čak 26 procedura za razmatranje problema početnog perioda simulacije, odnosno prela-znog režima rada sistema.

Ostale metode (analitičke i numeričke) koriste se sa ciljem provere rezultata dobijenih simulacijom. Ovakva provera moguća je samo za jed-nostavnije modele za koje postoji analitički opis. Osnovna ideja jeste da se iskoriste prednosti simulacionih metoda (sposobnost relativno lakog opisa, kreiranja i razmatranja sistema bilo kog tipa, složenosti i veličine), a njeni nedostaci svedu na najmanju meru.

<9T)

Ocena kvaliteta efikasne metode

Da bi jedna metoda razmatranja sistema masovnog opsluživanja bi-la efikasna, mora da zadovolji sve zahteve koje nameće proučavanje re-alnih SMO, u ovom slučaju SMO iz vojne oblasti. Ti zahtevi su sledeći:

1) bilo koji tip SMO (razne funkcije gustine verovatnoće potoka klije-nata);

2) bilo koja složenost SMO (broj i karakter veza; disciplina opsluge; strpljivost, itd.)

3) bilo koja veličina SMO (mreže redova ili višefaznost opsluge);

4) bilo koja opterećenost sistema (manje, jednako ili veće od jedan);

5) bilo koje vreme rada SMO (konačno ili proizvoljno veliko).

Pored nabrojanih aspekata univerzalnosti, efikasna metoda

razmatranja realnih SMO mora da bude i:

6) tačna;

7) jednostavna i razumljiva;

8) dostupna po pitanju resursa (jeftina).

Treba istaći da su zahtevi navedeni pod 1), 2), 3) i donekle 5) do sa-da uglavnom rešeni samom primenom metoda simulacionog modelova-nja u domenu opisa i kreiranja složenih simulacionih modela, ali ne i sa dovoljno spoznatom tačnošću i poverenjem u izlazne simulacione rezul-tate. Drugim rečima, simulaciono modelovanje ima potencijala za opis-iz-gradnju modela složenih sistema, ali još uvek nema mogućnosti da zadovolji zahteve navedene pod: 4), 6), 7), i 8) i to ne samo za složene siste-me, već i za tzv. najjednostavnije.

Veza tačnosti i broja ponavljanja simulacija

Suština primenjene metode sadržana je u njenom nazivu: „Automati-zovana nezavisna ponavljanja simulacionih eksperimenata, sa prikuplja-njem statistike slučajnih procesa“ („Automated Independent Replications with Gathering Statistics of Stochastic Processes' - AIRGSSP). Metoda je izložena 2008. godine u renomiranom međunarodnom nauč-nom časopisu: European Journal of Operational Research 0.

U osnovi AIRGSSP metode jesu najjednostavniji, ali istovremeno i najvažniji zakoni matematičke statistike. Statistička priroda simulacione metode ogleda se u sledećem: „radni materijal" za primenu metoda ma-tematičke statistike predstavljaju statistički uzorci; statističke uzorke čine elementi, a njih predstavljaju snimljene vrednosti koje prima posmatrana slučajna veličina tokom simulacionih eksperimenata.

Osnovni cilj je da se u funkcionalnu vezu dovede nivo tačnosti simulacionih rezultata sa uslovima izvođenja eksperimenta, odnosno sa brojem po-

GD

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

navljanja simulacije. U literaturi se mogu naći radovi koji direktno ističu ovaj problem kroz ogoljeno pitanje: „How much is enough?" (Koliko je dovoljno?). Predlog odgovora na ovo pitanje sledi upravo iz razmatranja obezbeđenja tačnosti verovatnoća stanja sistema kao primarne mere performanse.

U kontekstu simulacionog modelovanja Monte Karlo broj ponavljanja nezavisnih simulacionih eksperimenata predstavlja, u stvari, veličinu ili brojnost uzorka za intervalnu ocenu verovatnoća stanja.

DOKAZ izraza za određivanje veličine uzorka, tj. broja ponavljanja simulacionog eksperimenta.

Pri izvođenju dokaza koristiće se sledeći sistem označavanja: n - veličina (brojnost) uzorka, p - verovatnoća stanja sistema koja se posmatra, q - komplement posmatrane verovatnoće stanja (q = 1-p),

£ - maksimalno odstupanje posmatrane verovatnoće, izraženo u procentima,

zc - koeficijent poverenja za normalnu raspodelu, f - relativna frekvencija stanja SMO na koje se odnosi posmatrana verovatnoća,

£a - apsolutno odstupanje relativne frekvencije od verovatnoće po-smatranog stanja,

op - standardna greška ocene verovatnoće p.

Na osnovu naznačenih referentnih izvora, odnosno praktično bilo koje literature iz oblasti matematičke statistike i verovatnoće i to osnovnih kurseva, kao opšte poznati važe sledeći izrazi:

- standardna greška ocene verovatnoće p:

а

p

pq_

n

(1)

- intervalna ocena verovatnoće p:

P - zcap < f < P + zcap (2)

Takođe, važe i sledeći izrazi:

- apsolutno odstupanje relativne frekvencije od verovatnoće posma-tranog stanja:

S A = |p - f\ (3)

- odnos proporcije:

sA : p = s : 100 (4)

Na ovom mestu treba uočiti sledeće napomene: Prvo, izraz (2) je je-dan od oblika poznatog izraza za intervalnu ocenu posmatrane verovat-noće, na osnovu relativne frekvencije posmatranog događaja i poznatih stavova o standardnoj grešci verovatnoće i datom koeficijentu poverenja za Normalnu raspodelu.

C9D

Drugo, pri analizi veličine odstupanja vrednosti relativne frekvencije u odnosu na verovatnoću, mnogo je pogodnije koristiti se procentualnim iskazivanjem te razlike. Zbog toga su u analizu uvedeni i izrazi (3) i (4).

U daljem postupku izvršiće se sledeće:

- izraz (2) napisaće se u obliku:

\p - f = zc°p (5)

- odnosno, koristeći i izraz (3), imamo:

Sa = Zc°p (6)

- sa druge strane, iz izraza (4) neposredno sledi izraz:

Sa

ps

100

(7)

Sada dovedemo u vezu izraze (6) i (7), pa se dobija sledeći izraz:

ps

ZcGv =----

c p 100

(8)

U prethodnom izrazu, (8), zameniti veličinu za ap iz izraza (1), pa se dobija sledeća jednakost:

pq ps

n 100 Kvadriranjem izraza (9) dobija se:

2 2

_2 pq p s

z„

(9)

(10)

n 100'

Na kraju, iz elementarnih algebarskih operacija prethodnog izraza sledi:

2 q I

Zc~ = p\

n ^

1S0

(11)

2

Odatle se dobija konačni izraz za određivanje veličine (brojnosti) uzorka u postupku intervalne ocene posmatrane verovatnoće stanja:

n=q 11001 z2

s

(12)

Time je dokaz završen. Ovim izrazom data je veza između sledećih veličina:

• verovatnoće stanja SMO,

• veličine-brojnosti uzorka za ocenu verovatnoće stanja,

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

• koeficijenta statističkog poverenja,

• maksimalno mogućeg odstupanja ocene verovatnoće stanja.

U bilo kom, ali samo u jednom trenutku SMO se može nalaziti samo u jednom stanju. Ako se određeni broj puta simulira čitava situacija, za iste ulazne veličine, i pri tome se beleži da li je SMO u posmatranom stanju ili ne, na taj način može se formirati statistički uzorak za ocenu vero-vatnoće stanja SMO u posmatranom trenutku.

Za ilustraciju primene ovog izraza biće razmotren sledeći jednosta-van numerički primer: kreiran je određeni simulacioni model koji, pored ostalog, kao izlazne rezultate može da daje i frekvenciju pojave posma-tranog događaja. Pretpostavimo da je teorijska vrednost verovatnoće iza-branog stanja SMO jednaka 0,1.

Postavlja se pitanje - kako obezbediti da izlazni simulacioni rezultati za ocenu te verovatnoće ne odstupaju više od 10% od navedene vredno-sti, uz određeni nivo statističkog poverenja, na primer 0,95.

Rešenje zadatka je sledeće:

a) Iz postavke zadatka je poznato:

p = 0,1 - verovatnoća stanja SMO koja se posmatra,

q = 0,9 - komplement posmatrane verovatnoće stanja (q=1-p),

£ = 10% - maksimalno odstupanje posmatrane verovatnoće, izraže-no u procentima,

zc = 1,96 - koeficijent poverenja za normalnu raspodelu, za nivo poverenja 0,95.

b) Primenom izraza (12) dobija se:

Dakle, prema uslovima zadatka, potrebno je izvršiti 3457 eksperime-nata, da bi se ocenila verovatnoća (0,1) posmatranog događaja (da će SMO biti u posmatranom stanju), uz maksimalno moguću grešku ocene do 10%, uz statistički nivo poverenja 0,95.

Sa aspekta simulacionog modelovanja potrebno je realizovati 3457 nezavisnih simulacionih eksperimenata, kako bi se zadovoljili postavljeni uslovi u ovom primeru. Po realizaciji ovih 3457 eksperimenata može se očekivati, sa statističkim poverenjem od 0,95, da će se SMO naći u posmatranom stanju: 3457*0,1 = 345,7 « 346 puta ±10%; odnosno (uz 10% « 34,6 « 35). Prema tome, apsolutna frekvencija pojave posmatranog stanja SMO u 3457 eksperimenata biće u intervalu od 311 do 381 reali-zacije. Svaki rezultat u ovom intervalu, u kontekstu uslova postavljenih u zadatku, dobar je.

(13)

Ukoliko bi se želela pouzdanija ocena sa, na primer, poverenjem 0,99 (koeficijent poverenja je onda 2,58), i sa još manjom maksimalnom greškom, od na primer 5%, tada je potreban uzorak brojnosti:

Odnosno, potrebno je izvršiti 23 963 nezavisnih simulacionih eksperi-menata. Na osnovu poslednjeg uočljivo je veliko povećanje brojnosti uzor-ka potrebnog za tek nešto tačniju i nešto pouzdaniju ocenu. Ako je i vero-vatnoća koja se posmatra još manja, što je čest slučaj u razmatranju SMO sa velikim brojem stanja, brojnost potrebnog uzorka se dodatno povećava.

Suštinska vrednost jednog simulacionog modela, pa i njegova svr-sishodnost, jeste kvalitet i upotrebljivost simulacionih rezultata dobijenih na osnovu eksperimenata na simulacionom modelu. Drugim rečima, ovi rezultati moraju imati određeni kredibilitet, odnosno na osnovu nekih fak-tora treba im verovati. Ti faktori mogu biti različitog karaktera.

Praktično i teorijski posmatrano, najsnažniji način obezbeđenja kre-dibiliteta nekog simulacionog modela jeste u slučaju kada postoji odgova-rajući opis posmatranog problema analitičkim metodama (matematičke formule), pri čemu je taj opis moguće dalje razviti i rešiti bilo analitičkim metodama ili primenom numeričkih metoda. Ako su simulacioni rezultati u saglasnosti sa rezultatima dobijenim analitičkim ilinumeričkim metodama može se reći da je taj simulacioni model dobar. Što je veći nivo te saglasnosti, utoliko je taj simulacioni model bolji.

Ako se, pri tome, nivo saglasnosti simulacionih rezultata sa analitič-kim (ili rezultatima dobijenim numeričkim metodama) može i zakonomer-no kontrolisati, onda je logično zaključiti da je simulacioni model dobar. Na taj način se kvalitet simulacionih rezultata ozbiljno približava odnosu koji važi na relaciji: rezultati na osnovu primene analitičkih izraza i rezultati na osnovu primene numeričkih metoda. Drugim rečima, izvesno od-stupanje simulacionih rezultata od teorijskih postoji, ali se ono može statists tačno odrediti i po želji ili potrebi tačno kontrolisati.

Provera simulacionog modela poređenjem sa analitičkim rezultatima moguća je samo za nekoliko najjednostavijih modela masovnog opsluži-vanja za koje je moguće izvesti praktično primenljive analitičke izraze ne samo za stacionarni, već i za prelazni period rada. Takav je, na primer,

(14)

Saglasnost simulacionih sa teorijskim rezultatima

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

slučaj modela M/M/1/0, zatim M/M/1/1, i sl. Reč je, dakle, o onim SMO koji imaju ili malo mogućih stanja sistema, pa tako i malo jednačina sta-nja ili su njihove jednačine stanja takve da ih je moguće relativno lako re-šiti određenim algebarskim ili drugim postupcima.

Skup rešivih modela SMO moguće je dosta proširiti primenom nu-meričkih metoda. Međutim, i ovde postoje granice: već za sisteme sa ne-koliko desetina jednačina postupak rešavanja i manipulacije sa takvim modelima postaje otežan.

Na grafovima 1 i 2, radi ilustracije prethodnih stavova, prikazana su rešenja za dve verovatnoće stanja (p0(t) i p1(t)) sistema masovnog opslu-živanja (uzetog kao primer iz 0): tipa M/M/1/7, koji: radi ograničeno vre-me (6000 vremenskih jedinica), uz prosečno vreme opsluge klijenata od 100 vremenskih jedinica, prosečnim vremenom između dolaska dva kli-jenta od 120 vremenskih jedinica i sa početnim stanjem „u sistemu nema klijenata". Matematički opis ovog SMO prikazan je izrazima (15, 16 i 17).

p0(t)

Graf 1 - Verovatnoća stanja p0(t) dobijena simulacijom i numeričkim metodama

pl(t)

Graf 2 - Verovatnoća stanja p1 (t) dobijena simulacijom i numeričkim metodama

<9T)

Na osnovu grafičkog prikaza može se uočiti dobro slaganje simulaci-onih rezultata sa rezultatima dobijenim primenom numeričkih metoda. Dodatno, moguća je provera nekim od statističkih testova, na primer x2-testa.

Rešenja za ostale verovatnoće stanja ovog SMO dobijaju se na isti način, a svi rezultati su prikazani u 0. Ovaj SMO ima 9 mogućih stanja, što znači da je potpuno opisan sistemom od 9 Erlangovih jednačina. To su sledeće jednačine:

Po(t) = -MPo(t)+m(t)

Pi(t) = ^Pg (t) - (M + P)Pi (t) + PP(t)

P2 (t) = M (t) - (M + P)P2 (t) + PP3 (t)

P3 (t) = M)2 (t) - (M + P)P3 (t) + PP4 (t)

P4 (t) = ^3 (t) - (M + P)P4 (t) + PP5 (t)

(15)

P5 (t) = ^>4 (t) - (M + P)P5 (t) + PP6 (t)

P6 (t) = ^5 (t) - (M + P)P6 (t) + PPl (t)

Pi (t) = ^Pe (t) - (M + P)Pl (t) + PP8 (t)

P8(t) = ^Pl(t) PP 8 (t)

Važi i normirajući kriterijum (suma svih verovatnoća stanja sistema, u bilo kom trenutku, jednaka je jedinici):

Š P,(<)=i (16)

i=0

Takođe, važe i sledeći početni uslovi:

po (0)= 1

Pi (0)= P2 (0)= P3 (0)= ... = P8 (0)= 0

(17)

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

Takav, relativno mali sistem jednačina, moguće je rešiti primenom numeričkih metoda. Radi toga, moguće je korišćenje nekog računarskog paketa za primenu numeričkih metoda (na primer: paket MATLAB) i dobi-ti rešenja za sve verovatnoće stanja kao funkcije vremena, u tabelarnoj i grafičkoj formi. Praktično je, dakle, rešen sistem diferencijalnih jednačina prvog reda sa konstantnim koeficijentima, primenom numeričkih metoda („glatke" krive na grafovima 1 i 2). Kao što je poznato, ovaj postupak se skraćeno naziva numerička integracija.

Sa druge strane, približno ista rešenja datog sistema diferencijalnih jednačina stanja SMO moguće je dobiti i primenom simulacione metode nazvane „automatizovana nezavisna ponavljanja simulacionih eksperi-menata, sa prikupljanjem statistike slučajnih procesa" ili, u originalu: „Automated Independent Replications with Gathering Statistics of Stochastic Processes" (AIRGSSP).

Mada nije dovoljno poznato, ovaj postupak se, po analogiji sa nume-ričkom integracijom sistema diferencijalnih jednačina, može skraćeno na-zvati „statistička integracija" ili integracija Monte Karlo 0. Jasno, na grafovima 1 i 2, „glatke" krive predstavljaju rešenja dobijena primenom nume-ričkih metoda, a „oscilatorne" krive predstavljaju simulacione rezultate.

Simulacioni rezultati u ovom primeru baziraju se na uzorku veličine 1076 elemenata, odnosno izvršeno je toliko nezavisnih simulacionih eks-perimenata (svaki eksperimenat je istog vremenskog trajanja - 6000 vre-menskih jedinica). Ova veličina uzorka (1076) obezbeđuje maksimalnu grešku do 15,3% uz nivo poverenja 0,9973, za ocenu stacionarne vred-nosti verovatnoće stanja p0(t). Odnosno, ako se želi veća tačnost, tj. ma-nja greška, treba povećati veličinu uzorka (tj. broj ponavljanja simulacije). Na primer, za 10 000 ponavljanja, uz isti nivo poverenja, treba očekivati odstupanje simulacionih rezultata do maksimalno 5,9%, za uslove u ovom zadatku.

Demonstracija kontrole tačnosti

Na grafu 3 konkretno se demonstrira rezultat primene izloženog na-čina obezbeđenja tačnosti simulacionih rezultata. Radi preglednosti, pri-kazana je samo jedna verovatnoća stanja: p0(t), za SMO tipa M/M/1/7, za uslove rada: A = 1/120; p = 1/100. Uporedo sa rešenjem dobijenim nume-ričkim metodama prikazana su tri simulaciona rešenja za tri različita broja ponavljanja simulacija (IR - Independent Replications):

• 30 nezavisnih ponavljanja (IR) simulacionog eksperimenta;

• 1076 nezavisnih ponavljanja (IR) simulacionog eksperimenta, i

• 10 000 nezavisnih ponavljanja (IR) simulacionog eksperimenta.

<шТ)

Povećanje tačnosti simulacionih rezultata, povećanjem broja ponavljanja

CN CN СО fO

Ю Ю

-p0(t), 30 IR ' p0(t), 10000 IR

■p0(t), 1076 IR = p0(t), MATLAB

Graf 3 - Povećanje tačnosti simulacionih rezultata sa povećanjem broja ponavljanja

vreme

Procentualno odstupanje simulacionih od tačnih rezultata za verovatnoću stanja p0(t); M/M/1/7

о о о о

ООО

ю о ю

о о о о о

о о о о о

о ю о ю о

см см со со ^

vreme

о о о о

о о о о

ю о ю о

Ч Ю Ю (О

Graf 4 - Odstupanja simulacionih rezultata za različiti broj ponavljanja (IR)

Sa grafa 3, a još bolje sa grafa 4 0 jasno se vidi da su odstupanja najveća za rezultate dobijene sa 30 ponavljanja simulacije (ovaj broj je izabran kao klasična granica između malih i velikih uzoraka). Vizuelno se uočavaju mnogo manja odstupanja rezultata za 1076 ponavljanja nego u prethodnom slučaju.

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

Odstupanja simulacionih rezultata za 10 000 simulacija su toliko mala da se vizuelno jedva primećuju. Naravno, ovi rezultati mogu se prikazati i tabelarno, kao i konkretne vrednosti odstupanja simulacionih rezultata u odnosu na rezultate dobijene primenom tačnih metoda. Pri-menom izraza (12) te razlike je moguće kvantifikovati za izabrani nivo poverenja.

Odstupanja simulacionih rezultata u funkciji vremena

Za zadate uslove računa se maksimalno moguće odstupanje simulacionih rezultata za verovatnoću stanja koja se proučava. Drugim reči-ma, treba očekivati da simulacioni rezultati budu u okviru proračunatih granica odstupanja. Odnosno, svaki simulacioni rezultat u tako definisa-nom opsegu je dobar.

Sledi grafički prikaz tri skupa rezultata (za 30, 1076 i 10 000 nezavi-snih ponavljanja simulacije - IR), za SMO tipa M/M/1/7. Sa grafova 5, 6 i 7 očigledno je da su odstupanja simulacionih rezultata manja od dopuš-tenih za date uslove. Tabela 1 daje prikaz numeričkih vrednosti ovih re-zultata.

Dopuštena i ostvarena odstupanja za p0(t) n=30 IR

Graf 5 - Dopuštena i ostvarena odstupanja simulacionih rezultata za p0(t), za 30 IR

Dopuštena i ostvarena odstupanja za p0(t) n=1076IR

-Ostvareno

■Dopusteno

О

О

<N

О

LO

<N

О

О

СО

О

LO

СО

О

О

•sf

О

LO

•^r

О

О

LO

О

LO

LO

О

О

СО

vreme

Graf 6 - Dopuštena i ostvarena odstupanja simulacionih rezultata za po(t), za 1076 IR

Dopuštena i ostvarena odstupanja za p0(t) n=10000IR

Graf 7 - Dopuštena i ostvarena odstupanja simulacionih rezultata za po(t), za 10 000 IR

Tabela 1

Numeričke vrednosti dopuštenih i ostvarenih odstupanja simulacionih rezultata

tip SMO: M/M/1/7 , Тл=120 , T^=100 , vreme rada: 6000 vremenskih jedinica

Koeficijent poverenja: z0=3 (odgovara nivou poverenja od 0,9973)

Veličina uzorka: О CO II c n2=1076 n3=10000

vreme tačne vrednosti verovatnoće stanja Ostvareno Dopušteno Ostvareno Dopušteno Ostvareno Dopušteno

t Po(t) /*"'[%] *[%] [%] £[%] [%] £[%]

0 1 0 0 0 0 0 0

200 0,457 27,1 59,7 2,1 10,0 2,2 3,3

400 0,3567 43,9 73,6 5,1 12,3 0,3 4,0

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

600 0,3111 28,6 81,5 4,4 13,6 0,2 4,5

800 0,284 29,6 87,0 0,4 14,5 0,9 4,8

1000 0,2658 0,3 91,0 8,0 15,2 0,1 5,0

1200 0,2525 20,8 94,2 2,8 15,7 1,9 5,2

1400 0,2426 9,9 96,8 4,3 16,2 4,2 5,3

1600 0,2349 0,7 98,9 4,5 16,5 0,8 5,4

1800 0,2289 45,6 100,5 7,7 16,8 2,4 5,5

2000 0,2242 25,7 101,9 1,7 17,0 2,3 5,6

2200 0,2206 24,4 103,0 0,5 17,2 0,0 5,6

2400 0,2177 54,1 103,8 4,3 17,3 3,2 5,7

2600 0,2154 69,0 104,5 2,4 17,5 1,9 5,7

2800 0,2136 68,8 105,1 1,6 17,5 0,4 5,8

3000 0,2121 21,4 105,6 3,9 17,6 0,7 5,8

3200 0,211 42,2 105,9 12,0 17,7 2,7 5,8

3400 0,2101 20,7 106,2 0,4 17,7 1,8 5,8

3600 0,2094 36,3 106,4 4,0 17,8 1,2 5,8

3800 0,2088 11,7 106,6 2,0 17,8 0,4 5,8

4000 0,2084 59,9 106,7 2,7 17,8 2,1 5,8

4200 0,208 12,2 106,9 0,2 17,8 2,0 5,9

4400 0,2078 35,8 106,9 2,9 17,9 1,5 5,9

4600 0,2076 12,4 107,0 1,4 17,9 2,1 5,9

4800 0,2074 3,6 107,1 0,9 17,9 0,7 5,9

5000 0,2072 3,5 107,1 9,1 17,9 0,9 5,9

5200 0,2071 12,7 107,2 6,5 17,9 2,3 5,9

5400 0,2071 44,9 107,2 2,0 17,9 2,3 5,9

5600 0,207 12,7 107,2 1,1 17,9 1,0 5,9

5800 0,2069 19,4 107,2 4,8 17,9 1,0 5,9

6000 0,2069 35,6 107,2 6,0 17,9 0,6 5,9

% % % % % %

maksimalno 100,0 107,2 15,3 17,9 4,2 5,9

prosečno 27,8 98,1 3,9 16,4 1,4 5,4

Ostvareno Dopušteno Ostvareno Dopušteno Ostvareno Dopušteno

Zaključak

Jedan od centralnih problema u simulaciji jeste problem tačnosti si-mulacionih rezultata. Mada određeni rezultati po ovom pitanju postoje, problem je otvoren za nova istraživanja. U radu je izložen postupak ostvarivanja kontrole nad tačnošću izlaznih rezultata u slučaju simulacije sistema masovnog opsluživanja Monte Karlo.

Radi potpunog obuhvata problema detaljno je prikazan postupak de-finisanja veze između nivoa odstupanja simulacionih rezultata od teorij-skih i broja ponavljanja nezavisnih simulacionih eksperimenata.

Simulacioni model kojim su dobijeni numerički podaci u konkretnom primeru razvijen je prema metodi nazvanoj „automatizovana nezavisna ponavljanja simulacionih eksperimenata, sa prikupljanjem statistike slu-čajnih procesa“(„Automated Independent Replications with Gathering Statistics of Stochastic Processes11, skraćeno AIRGSSP).

Opšti zaključak koji proizilazi iz analize izloženih rezultata jeste da je za postizanje veće tačnosti izlaznih simulacionih rezultata potrebno izvršiti veliki broj nezavisnih simulacionih eksperimenata. Predloženi matematički izraz da-je kvantitativnu vezu između tačnosti rezultata, pouzdanosti ocene i broja nezavisnih ponavljanja simulacionog eksperimenta. U daljim pravcima istraživa-nja moguća je primena izloženih postupaka na složenije tipove i uslove rada sistema masovnog opsluživanja, kao i na druge klase slučajnih procesa.

Literatura

[1] Gaither, B.: „Empty empiricism11, ACM Performance Evaluation Review, Vol. 18, No. 2, avg. 1990, str. 2-3.

[2] Pawlikowski, K., Jeong, H. D. J., Ruth Lee, J. S.: „On credibility of simulation studies of telecommunication networks11, IEEE Communications Magazine, January 2002, pp. 132-139.

[3] Cooper, B. R.: „Introduction to Queueing Theory“, Elsevier North Holland, New York, 1981.

[4] Goldsman, D., Marshall, W., Seong-Hee, K., Nelson, B.: „Ranking and selection for steady-state simulation11, Proceedings, Winter Simulation Conference, Decembar 2000, str. 544-553.

[5] Nikolić, N.: „Korisnički aspekt prelaznog režima rada sistema masovnog opslu-živanja“, Vojnotehnički glasnik, br. 4/2007, str. 429-440, Beograd, ISSN 0042-8469.

[6] Robinson, S.: „Automated analysis of simulation output data“, Proceedings, Winter Simulation Conference, Decembar 2005, str. 763-770.

[7] Nikolic, N., „Statistical integration of Erlang’s equations11, European Journal of Operational Research*, Vol. 187, Issue 3, 16 June 2008, pp. 1487-1493 (www.sciencedirect. com/science/journal/03772217).

[8] Nikolic, N., „Monte Carlo Modeling of Military Queueing Systems -Challenge of the Initial Transience11, monografija, Zadužbina Andrejević и Institut za strategijska istraživanja, Beograd, 2008, (www.zandrejevic. org).

ACCURACY CONTROL IN MONTE CARLO SIMULATIONS Summary:

The paper presents an application of the Automated Independent Replication with Gathering Statistics of the Stochastic Processes Method in achieving and controling the accuraccy of simulation results in

(U5>

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107

VOJNOTEHNIČKI GLASNIK 2 / 10

the Monte Carlo queueing simulations. The method is based on the application of the basic theoremes of the theory of probability and mathematical statistics. The accuracy of the simulation results is linked with a number of independent replications of simulation experiments.

Introduction

Simulation methods proved themselves as very effective in modeling of complex physiognomy of modern warfare. However, simulation methods have one malfunction and that is the problem of accuracy control of simulation results. The paper presents the application of the „Automated Independent Replication with Gathering Statistics of Stochastic Processes“ method, in achieving and controlling accuracy of simulation results in the Monte Carlo queueing simulations.

Simulations and mathematical statistics

The method is based on the basic theorems of the theory of probability and mathematical statistics. The probability theory and mathematical statistics have their places not only at the end of a simulation study -for output data processing, but at the very beginning as well -during the model development and preparation to generate relevant data. A simulation is, practically, a statistical experiment.

Evaluation of the quality of an efficient method

An efficient simulation method has to be: accurate; simple and understandable; accessible in means of resources (cheap); and of course, it has to cover a full scope of complexity of the structure and working conditions of the system under study.

Link between accuracy and simulation replications

The essence of the method is in its name: „Automated Independent Replication with Gathering Statistics of Stochastic Processes“. The method is based on the most important laws of the probability theory, which are grouped as the central limit theorems. The main goal is to functionally connect a level of simulation results accuracy with a number of simulation replications. There are literature papers which directly point out this problem with a question: „How much is enough?11. A suggested answer just proceeds through considering the accuracy of system states probabilities as the primary measures of performance. In the context of Monte Carlo simulation modeling, a number of independent simulation replications presents, in fact, a sample size for interval estimation of the state probabilities.

Agreement of simulation and theoretical results

In order to illustrate this new method, a simple numerical example was considered. A type of the model is selected in such a way that exact (theoretical) results are available. The simulation results obtained through the new method are compared with theoretical results.

Good agreement of data sets has confirmed the validity of the proposed approach for accuracy control. In fact, by the use of simulation we got solutions with controlled accuracy for the model which is theoretically presented by the system of differential equations of first order. Furthermore, this system is processed neither by theoretical nor numerical methods, but by the third way: by a new variant of the general Monte Carlo simulation method. From here comes the name of this approach in solving a system of differential equations: Statistical or Monte Carlo integration.

Demonstration of accuracy control

The realization of three experiments with different numbers of independent replications demonstrates that the increase in replication numbers improves the accuracy of output results, while discrepancies are clearly measurable and predictable.

Time-dependent discrepancies of simulation results

The proposed method has capacity to support the dynamic behavior of the system. Dynamic discrepancies of simulation results are presented as time-dependent variables.

Conclusion

It can be concluded that a higher level of accuracy of simulation results calls for a large number of independent replications of simulation experiments. The method gives a quantitative relation among the accuracy of results, the estimation reliability, and the number of independent replications. A future research is possible for more complex models of queueing systems and for other working conditions as well as for other types of stochastic processes.

Key words: simulation, Monte Carlo, accuracy control, queueing.

Datum prijema članka: 30. 03. 2009.

Datum dostavljanja ispravki rukopisa: 18. 09. 2009.

Datum konačnog prihvatanja članka za objavljivanje: 20. 09. 2009.

Nikoilć, N., Kontrola tačnosti rezultata u simulacijama Monte Karlo, str. 90-107