ISPITIVANJE KVALITETA SOFTVERSKI GENERISANIH SEGMENATA U OBLASTI VREMENSKE SLOŽENOSTI ALGORITAMA ZA AUTOMATIZOVANO SASTAVLJANJE ISPITA     Đorđe Pešić, Jelica Protić, Milena Vujošević Janičić*, Marko Mišić Univerzitet u Beogradu Elektrotehnički fakultet *Matematički fakultet

Uvod Veliki broj studenata i ispitnih rokova. Ručno generisanje pitanja je vremenski zahtevno. Razvija se softver za automatsko generisanje programskih segmenta. Za svaki generisani segment računa se vremenska složenost. Ovi segmenti se koriste kao ispitna pitanja.

Izgled pitanja Primer jednog ispitnog pitanja

Algoritam generisanja programskih segmenata Ulazni podaci Maksimalan broj petlji koje programski segment može da sadrži. Željeni broj segmenata. Početni skup segmenata od koga kreće generisanje.

Algoritam generisanja programskih segmenata Algoritam ima dve faze. Prva faza Generisanje svih mogućih segmenata sa jednom petljom, na osnovu početnog skupa. Druga faza Na osnovu rezultata prethodne faze generišu se segmenti sa više petlji. Implementiranje različite metode generisanja. Mogućnosti proširenja novim metodama.

Rezultati generisanja Rezultat programa je skup programskih segmenata različitih vremenskih složenosti. Svako pokretanje programa daje različit skup. Omogućeno slučajnim parametrima u algoritmu. Segmenti se razvrstavaju u grupe. Grupa sadrži segmente iste složenosti.

Obrada rezultata Procena kvaliteta generisanih segmenata Raspodela broja segmenata po grupama. Stepen međusobne sličnosti unutar jedne grupe.

Primer raspodele

Merenje sličnosti Koristi se alat JPlag. Pokreće se nad grupama iste složenosti. Generiše se matrica sličnosti. Klasterizacija grupe po semantičkoj sličnosti. Dobijeni klasteri se još jednom grupišu po tekstualnoj sličnosti.

Hijerarhijski dendogram skupa segmenata složenosti sqrt(n)

Hijerarhijski dendogram najvećeg klastera segmenata semantičke sličnosti

Obrada rezultata Dobijena raspodela je dosta neravnomerna. Za zastupljenije složenosti postoji veći broj načina za njihovo dobijanje (npr. linearna, kvadratna). Implementirani načini za generisanje postižu visoku semantičku sličnost, i nešto manju tekstualnu sličnost.

Zaključak Prikazano je ispitivanje kvaliteta softvera za automatsko generisanje programskih segmenata, poznate vremenske složenosti. Može se generisati veći broj različitih složenosti. Unapređenja Postizanje ravnomernije raspodele broja segmenata po grupama iste složenosti. Dodavanje novih metoda za generisanje.

Hvala na pažnji! Đorđe Pešić Jelica Protić Milena Vujošević Janičić pd155004p@student.etf.rs Jelica Protić jelica.protic@etf.bg.ac.rs  Milena Vujošević Janičić milena@matf.bg.ac.rs Marko Mišić marko.misic@etf.bg.ac.rs