INTERNETSKA ISTRAŽIVANJA Web forme i rezultati web upitnika

Презентација на тему: "INTERNETSKA ISTRAŽIVANJA Web forme i rezultati web upitnika"— Транскрипт презентације:

1 INTERNETSKA ISTRAŽIVANJA Web forme i rezultati web upitnika
2018/2019 izv. prof. dr. sc. Marko Maliković

2 Utjecaj web formi na kvalitetu rezultata
Dosta provedenih istraživanja Općenito web forme mogu utjecati na kvalitetu dobivenih odgovora Dobro razmisliti: Koje web forme za koje vrste pitanja Svojstva odabranih formi

3 Polje za unos teksta Više prostora → dulji odgovori [Smith, 1995]
voditi računa ako očekujemo ispravan oblik odgovora ispitanici će upisivati više nevaljanih odgovora u dulje nego u kraće polje [Couper, Traugott, Lamias, 2001] Ponekad je pitanje: Polje za unos teksta ili radio gumbi? Smith, T. W. (1995). Little things matter: a sample of how differences in questionnaire format can affect survey responses. Paper presented at the annual meeting of the American Association for Public Opinion Research. Couper, M. P., Traugott, M. W., Lamias, M. J. (2001). Web survey design and administration. Public Opinion Quarterly, Vol. 65, No. 2, pp

4 Različite web forme za isto pitanje
Ispitanici su skloni upisivati "oko 3", "između 4 i 5" itd, ako im je to omogućeno

5 Primjeri upitnika iz originalnog istraživanja
Couper, M. P., Traugott, M. W., Lamias, M. J. (2001). Web survey design and administration. Public Opinion Quarterly, Vol. 65, No. 2, pp

6 Primjeri upitnika iz originalnog istraživanja
Couper, M. P., Traugott, M. W., Lamias, M. J. (2001). Web survey design and administration. Public Opinion Quarterly, Vol. 65, No. 2, pp

7 Radio gumbi vs. Polje za unos teksta
Odabir ovisi o svakoj zasebnoj situaciji! Pretpostavka: U večini slučajeva bolje radio gumbi, jer: zahtijevaju samo klik mišem umjesto upisivanja tipkovnicom dakle manji napor manji utrošak vremena manji broj neodgovorenih pitanja

8 Rezultati istraživanja [Couper, Traugott, Lamias, 2001]
Potrebno vrijeme: nije dobivena statistički značajna razlika čak nešto kraće za verziju s tekstualnim poljima autori upućuju na zaključak: tekstualni unos olakšava odabir brojeva od 0 do 10 zbog otežane vizualizacije u verziji s radio gumbima Statistički značajno više neodgovorenih pitanja u verziji sa tekstualnim poljima Couper, M. P., Traugott, M. W., Lamias, M. J. (2001). Web survey design and administration. Public Opinion Quarterly, Vol. 65, No. 2, pp

9 Radio gumbi vs. Polje za unos teksta
Radio gumbi ne dopuštaju odabir nevaljanih odgovora To sa poljima za unos teksta nije slučaj Dvije mogućnosti: Dopustiti unos bilo kakvih odgovora u polje Može povećati broj nevaljanih odgovora Tehnički onemogučiti unos nevaljanih odgovora Ispitanike se opterećuje s ponavljanjem unosa

10 Radio gumbi Grupa gumbova može biti definirana na način: Problem:
Jedan gumb je unaprijed odabran Niti jedan gumb nije unaprijed odabran Problem: Ispitanik klikne na gumb i predomisli se!? Ne želi odgovoriti na pitanje Moguća rješenja: Gumb "Bez odgovora" Reset za tekuću formu

11 Mogućnosti "Bez odgovora"

12 Opcija "Bez odgovora" unaprijed odabrana?
Ako je unaprijed odabrana tada: Da li je korisnik: odlučio odabrati opciju "Bez odgovora" ili je jednostavno preskočio pitanje? Najbolje ponuditi opciju "Bez odgovora" koja nije automatski odabrana?

13 Vizualne osobine ponuđenih formi
Također mogu imati utjecaja na rezultate Neke od osobina koje utječu na rezultate: Razmak među ponuđenim odgovorima Položaj ponuđenih odgovora Redoslijed ponuđenih odgovora Da li su opcije "Ne znam" ili "Bez odgovora" i sl. posebno istaknute [Tourangeau, Couper, Conrad, 2004] Tourangeau, R., Couper, M. P., Conrad, F. (2004). Spacing, position and order: Interpretive heuristics for visual features of survey questions. Public Opinion Quarterly, Vol. 68, No. 3, pp

14 Posebno istaknute neke opcije

15 Rezultati u [Tourangeau, Couper, Conrad, 2004]
Kada se te opcije vizualno ne razdvajaju (pomoću linija ili prostora): ispitanici mogu krivo percipirati sredinu ljestvice ispitanici koriste vizualnu, a ne konceptualnu sredinu ljestvice kao referentnu točku za odgovaranje Tourangeau, R., Couper, M. P., Conrad, F. (2004). Spacing, position and order: Interpretive heuristics for visual features of survey questions. Public Opinion Quarterly, Vol. 68, No. 3, pp

16 Nedoumice s okvirima za izbor
Umjesto svakog pojedinačnog okvira za izbor može se ponuditi da/ne verzija pitanja

17 Nedoumice s okvirima za izbor
U [Rasinski, Mingay, Bradburn, 1994] su ispitanici na manji broj pitanja odgovorili pozitivno u verziji s okvirima za izbor nego u da/ne verziji upitnika U verziji s okvirima za izbor je odabrano više odgovora ponuđenih na vrhu liste nego onih niže prema dnu (u da/ne verziji rezultati nisu bili takvi) Može se objasniti nalazima da ispitanici imaju tendenciju primijeniti minimalni napor prilikom popunjavanja upitnika [Krosnick, 1991] "Označite sve što se odnosi na vas" dizajn može potaknuti takvo ponašanje [Smyth, Dillman, Christian, Stern, 2006] Rasinski, K. A., Mingay, D., Bradburn, N. M. (1994). Do Respondents Really 'Mark All That Apply' on Self-Administered Questions? Public Opinion Quarterly, Vol. 58, No. 3, pp Krosnick, J. A. (1991). Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied Cognitive Psychology, Vol. 5, No. 3, pp Smyth, J., Dillman, D., Christian, L., Stern. M. (2006). Comparing check-all and forced-choice question formats in web surveys. Public Opinion Quarterly, Vol. 70, No. 1, pp

18 Daljnji rezultati s okvirima za izbor
Dugi nizovi da/ne pitanja mogu dovesti do potpunije odgovorenog upitnika Međutim, potrebna je veća kognitivna obrada odgovora potaknuta prisilom na izbor

19 Jedno čisto "tehničko" pitanje
Kako znati da li je ispitanik zaključio da se niti jedan od ponuđenih odgovora ne odnosi na njega ili je jednostavno preskočio pitanje? Drugim riječima, kako dizajnirati pitanja koja sadrže i opciju "Nijedno od ponuđenih odgovora" Jedno od rješenja: dodati radio gumb koji označava takvu opciju

20 Padajući izbornici vs. Radio gumbi
Tehnički ekvivalentni jer služe istoj svrsi omogućavaju odabir jednog odgovora s popisa Ipak: Prema [Heerwegh, Loosveldt, 2002] postoji mala prednost u korištenju radio gumbova: kod padajućih izbornika ostaje više neodgovorenih pitanja Moguće objašnjenje: s radio gumbima sve moguće opcije odgovora su odmah vidljive dok kod padajućih izbornika to nije tako Heerwegh, D., Loosveldt, G. (2002). An evaluation of the effect of response formats on data quality in web surveys. Social Science Computer Review, Vol. 20, No. 4, pp

21 Pitanja u matrici Engl. Grid questions ili matrix questions
Nizovi prikazanih pitanja (obično u redovima) koji dijele zajednički skup mogućih odgovora (obično u stupcima)

22 Pitanja u matrici Popularna
Povezana s nekoliko problema (Couper i sur., 2013): Veća stopa odustajanja od upitnika Veći udio neodgovorenih pitanja Manja diferencijacija nego u slučaju niza zasebnih pitanja Također, veća greška mjerenja kod pitanja u matrici s obzirom na samostalna pitanja je dobivena i u (Mavletova i sur., 2018) s većom greškom kod ispunjavanja preko mobitela nego preko PC-a U (Liu, Cernat, 2018) su uspoređivani rezultati matrica i niza zasebnih pitanja za nizove od 2, 3, 4, 5, 7, 9 i 11 mogućih odgovora Broj neodgovorenih pitanja veći kod pitanja u matrici i to posebno na mobitelima Dobivene veće greške mjerenja kod pitanja u matrici i to s više od 7 mogućih odgovora Couper, M. P., Tourangeau, R., Conrad, F. G., Zhang, C. (2013). The Design of Grids in Web Surveys. Social Science Computer Review, 31(3), Mavletova, A., Couper, M.P., Lebedev, D. (2013). Grid and Item-by-Item Formats in PC and Mobile Web Surveys. Social Science Computer Review, 36(6), Liu, M., Cernat, A. (2018). Item-by-item Versus Matrix Questions: A Web Survey Experiment. Social Science Computer Review, 36(6),