Fase 6
18/04/2022 - 08/05/2022Doelstelling
Tweede co-creatie sessie organiseren. Prototype verder uitwerken.
Vraagstelling
- Brengen de volgende experteninterviews ons nog tot nieuwe inzichten?
- Hoe kunnen we het prototype optimaliseren?
Methodeplanning
- Aantal respondenten: 20
- Fase: Data verzameling
- Aantal respondenten: -
- Fase: Voorbereiding
- Aantal respondenten: 4
- Fase: Voorbereiding
Taakverdeling
METHODIEK 1: Creative brainstorm
Aantal respondenten
Belangrijkste resultaten
- We kregen input (voornamelijk HCI) over hoe we knoppen en flows in ons prototype kunnen verbeteren/verduidelijken
METHODIEK 2: Expert interview
Aantal respondenten
Belangrijkste resultaten
METHODIEK 3: Paper prototyping
Aantal respondenten
Belangrijkste resultaten
Antwoorden
1. Hoe kunnen we het prototype optimaliseren?
Er moeten nog enkele zaken aangepast worden in het prototype:
Misschien een tutorial integreren in de website?
Lees ook:
- Vraagteken is niet duidelijk
- Symbool hoeft niet – misschien klikken op ‘lees ook’
- Items waarop het gebaseerd is (zoals ‘sport’) te breed gedefinieerd
Diversiteit:
- Woord ‘diversiteit’ niet goed gekozen – doet aan populaties denken
- Niet duidelijk wat eronder zit – groep akkoord
Suggesties:
- Context
- Tekentje met verschillende lijnen – trivial persuit
- Point of view – oogje
- Boekje – meer nieuws
- % knop
Cookies:
- Misleidend
- Groen krijgt voorkeur
- Geen groene kleur – twee zelfde want dan ga je lezen wat er staat
Aanmeldscherm:
- Wat zijn de consequenties van aanmelden? Wat zijn de voordelen?
- Waarom zou ik aanmelden en waarom niet als er geen verschil is?
- Als persoonlijk nieuwsaanbod de consequentie is, dan moet dat vermeld staan op het aanmeldscherm
Mijn nieuws:
- ‘hartje’
- Geeft vanzelf nieuws in je lijn
- Tegenstrijdig met diversiteitscheck omdat je het daar nog zelf moet zoeken
- Misschien eerder duim of pin (zoals pinterest)
- Niet teveel benadrukken
- Zodat je nog steeds meer divers nieuws krijgt dan je eigen mening
2. Brengen de volgende experteninterviews ons nog tot nieuwe inzichten?
Ja, maar voorlopig voornamelijk vanuit het standpunt van VRT zelf.
Onze laatst geinterviewde expert (Koen Muylaert) gaf enkele extra inzichten in hoe VRT haar rol ziet, en hoe ze issues zoals de filter bubble willen aanpakken.
Fase 5
07/03/2022 - 03/04/2022Doelstelling
Het afwerken van paper prototype. Nadien prototype in Figma maken aan de hand van gebruikersonderzoek. Dit zal een iteratief proces zijn, waarbij we aan de hand van co-creaties het prototype gaan optimaliseren. Het voeren van expert interviews voor hun mening te vragen over het prototype.
Vraagstelling
- Hoe kunnen we het prototype optimaliseren?
- Geven de experten ons nieuwe inzichten?
Methodeplanning
- Aantal respondenten: 2
- Fase: Voorbereiding
- Aantal respondenten: 20
- Fase: Voorbereiding
- Aantal respondenten: -
- Fase: Voorbereiding
Taakverdeling
- Jody Van Herreweghe
- Jens Behiels
- Warre De Boever
- Thomas Termote
- Margot Degraeve
- Seppe Destoop
- Pauline Janclaes
- Bastien Willemot
- Lien Rottiers
- Muze Parmentier
METHODIEK 1: Expert interview
Aantal respondenten
Belangrijkste resultaten
- De uitgevoerde experteninterviews gaven ons enkele nieuwe inzichten, daarnaast bevestigden ze ook bepaalde inzichten uit de co-creatiesessies. Bij de pop-up omtrent cookies is het belangrijk om het duidelijk genoeg te maken waarvoor ze dienen. Er moet ook een optie zijn voor de gebruiker om deze cookies niet te accepteren. Bij ‘lees meer’ moet er een knop zijn waar de gebruiker duidelijk kan zien op basis van welke gegevens deze artikels aangeraden worden. Daarnaast is het ook interessant om meer diverse artikels aan te bieden. Op het aanmeldscherm moeten de voordelen van een account duidelijker gecommuniceerd worden, ook is er meer transparantie nodig over wat er met de data van de mensen gebeurt. Het zal dus een constante afweging zijn tussen transparantie en usability om daar de ideale balans te vinden.
METHODIEK 2: Creative brainstorm
Aantal respondenten
Belangrijkste resultaten
- Aan de hand van de co-creatie sessie deden we nieuwe inzichten op met betrekking tot de drie pijlers: privacy, aanbod en transparantie. Bij het aanmelden vind men het een geruststelling dat er niets op de tijdlijn wordt geplaatst, maar men spreekt over een gebrek aan transparantie. De pop-up in verband met de cookies wordt als storend ervaren, men heeft de neiging om het weg te klikken en er heerst onduidelijkheid rond het doel van de cookies. De aanbevolen artikels worden als interessant ervaren binnen hetzelfde onderwerp, maar het moedigt niet aan om andere dingen te lezen. Het is onduidelijk welke gegevens gedeeld worden met derde bedrijven en wat ze ermee doen. Deze opmerkingen en tips uit de sessie nemen we mee om in figma uit te werken. Zo kwamen er verschillende suggesties naar voren rond de pop-up, het aanmelden en aanbod.
METHODIEK 3: Paper prototyping
Aantal respondenten
Belangrijkste resultaten
- De paper prototyping heeft ons geholpen om op een makkelijke en snelle manier te schetsen wat we wilden aanpassen aan de website. Vervolgens zijn we in Figma verder gegaan om het visueel aantrekkelijker te maken.
Antwoorden
1. Hoe kunnen we het prototype optimaliseren?
Aan de hand van de co-creatie sessie kwamen we tot enkele interessante suggesties voor het prototype. Rond de pop-up: optie om alles te wijzigen; in plaats van enkel 'alle' cookies, ook mogelijkheid tot beperkt aantal; zelf meer inspraak geven in keuze; optie om te weigeren duidelijk maken; transparant communiceren rond derde partijen. Rond het aanmelden: uitleggen wat bedrijven doen met gegevens; duidelijk maken dat aanmelden niet verplicht is. Rond aanbod: diverse onderwerpen aanbieden; pop-up die mogelijk maakt om interesses aan te duiden; knop om aanbevelingen te herladen.
2. Geven de experten ons nieuwe inzichten?
De experteninterviews gaven ons enkele nieuwe inzichten, maar bevestigden ook enkele elementen die voortkwamen uit de co-creatie sessie. Het belangrijkste dat voortkwam uit de interviews is dat het zeer belangrijk is om een goede balans te vinden tussen transparantie en usability.
Fase 4
15/02/2022 - 06/03/2022Doelstelling
Op basis van onze data kwamen tot 4 persona's. Deze persona's hadden we te tekstueel uitgewerkt en zullen we hervormen naar meer visuele persona's. Verder zullen we een weging doorvoeren om onze tekorten binnen onze niet-Belgen te balanceren. We zullen hierdoor moeten nagaan of deze vier persona's nog steeds correct zijn binnen onze gewogen data. Daarnaast gaan we bij de persona's dieper in op onderlinge verschillen die op hun beurt opportuniteiten en pijnpunten vormen voor de VRT. Om naar de tweede doelstelling toe te werken, beginnen we met een desk research voor de co-creatiesessies. In deze desk research gaan we na hoe andere nieuwswebsites hun transparantie over algoritmes aanpakken en visualiseren. Als laatst zullen we experten contacteren om co-creatie sessies te doen.
Vraagstelling
- Kunnen we onze persona's valideren na weging met niet-Belgen?
- Welke opportuniteiten en pijnpunten halen we uit de verschillende persona's voor de VRT?
- Hoe visualiseren andere nieuwswebsites hun gebruik van algoritmes?
- Hoe kunnen we de nieuwspagina van VRT verbeteren?
- Hoe verhouden de niet-Belgen zich binnen de persona's?
Methodeplanning
- Aantal respondenten: -
- Fase: Data analyse
- Aantal respondenten: -
- Fase: Data verzameling
- Aantal respondenten: -
- Fase: Voorbereiding
Taakverdeling
- Muze Parmentier
- Warre De Boever
- Pauline Janclaes
Volledig team
Volledig team
METHODIEK 1: Personas
Aantal respondenten
Belangrijkste resultaten
- Na het uitvoeren van een weging zijn we toch tot 5 persona's gekomen. In tegenstelling tot de 4 die bij de tussentijdse analyse werden opgesteld.
METHODIEK 2: Paper prototyping
Aantal respondenten
Belangrijkste resultaten
- Beginnen aan papieren prototype voor de co-creatie
METHODIEK 3: Expert interview
Aantal respondenten
Belangrijkste resultaten
- Contacteren van experten en een aantal mensen per persona voor deel te nemen aan co-creatie in volgende sprint.
Antwoorden
1. Welke grote onderlinge verschillen halen we uit de vier persona's?
Nee, door de weging is er een persona bijgekomen van de niet-Belgen.
2. Hoe visualiseren andere nieuwswebsites hun gebruik van algoritmes?
We hebben desk research gedaan naar andere nieuwswebsites om zo de basis van de prototype op te stellen.
3. Hoe kunnen we de nieuwspagina van VRT verbeteren?
We zullen de pijnpunten uit de persona's, namelijk transparantie, controle, breed aanbod en persoonsgegevens verwerken in onze interface. We merken dat die pijnpunten onder te brengen zijn in onze onderzoeksvraag. Transparantie vormt één kant en de andere drie vallen onder inclusiviteit. Aan de hand van deze twee punten zullen we verschillende interfaces opstellen die een antwoord kunnen zijn voor problemen van de persona's. Deze interfaces zullen voorgelegd worden in de co-creatie sessies.
4. Hoe verhouden de niet-Belgen zich binnen de persona's?
Eén persona bestaat vooral uit niet-belgen, deze zijn vooral hoogopgeleiden. Dit hadden we wel verwacht, omdat de moeilijkheidsgraad van de survey hoog lag. Vervolgens zitten er ook nog niet belgen verspreid bij andere persona's, maar nergens is er een oververtegenwoordiging.
Fase 3
22/11/2021 - 07/12/2021Doelstelling
We starten met een eerste analyse van huidige data met als doel een voorlopige versie van onze persona's te kunnen voorstellen. Daarnaast blijven we verdergaan met het rekruteren van mensen die niet in België geboren zijn. We zullen respondenten die buiten België zijn geboren interviewen, zodat we kwalitatieve data aan de data van de survey kunnen toevoegen. Verder focussen we ook op experten om een beter inzicht in huidig onderzoek rond algoritmes en aanbevelingssystemen.
Vraagstelling
- Welke respondenten zijn ondervertegenwoordigd en hoe kunnen we deze toch nog bereiken?
- Welke methode gebruiken we om de segmentatie te bekomen?
- Hoeveel persona's verwachten we te bekomen?
- Op welke variabele kunnen we een segmentatie maken om persona's op te stellen?
- Hoeveel respondenten en experten interviews doen we en hoe pakken we het aan?
Methodeplanning
- Aantal respondenten: 992
- Fase: Data verzameling
- Aantal respondenten: 992
- Fase: Data analyse
- Aantal respondenten: 992
- Fase: Rapportering
- Aantal respondenten: 4
- Fase: Voorbereiding
- Aantal respondenten: 4
- Fase: Data verzameling
- Aantal respondenten: 4
- Fase: Voorbereiding
- Aantal respondenten: 4
- Fase: Data verzameling
- Aantal respondenten: 4
- Fase: Data analyse
Taakverdeling
Volledig team
- Lien Rottiers
- Rein Bauwens
- Jens Behiels
- Thomas Termote
- Margot Degraeve
- Seppe Destoop
- Jody Van Herreweghe
- Muze Parmentier
- Warre De Boever
- Pauline Janclaes
Volledig team
- Jody Van Herreweghe
- Bastien Willemot
METHODIEK 1: Expert interview
Aantal respondenten
Belangrijkste resultaten
- en-en verhaal bij algoritmes (afweging tussen personalisatie en divers nieuws). Ideaal aanbevelingssysteem bestaat uit 4 onderdelen: transparantie, accuraatheid, verrassendheid en nood aan diversiteit.
- Op vlak van nieuws zet vrt nog niet in op inclusiviteit en transparantie "Jullie zeggen dat de taak van de vrt inclusief en transparant zijn is, maar die taak is eerder informeren in inspireren."
METHODIEK 2: Interview
Aantal respondenten
Belangrijkste resultaten
- Respondenten willen niet dat alles gepersonaliseerd wordt en wil dus ook algemeen nieuws zien.
- Geen vertrouwen ten aanzien van privacy.
METHODIEK 3: Segmentation surveys
Aantal respondenten
Belangrijkste resultaten
- Ondervertegenwoordiging van niet-belg bij tussentijdse analyse. Er zijn nog ongeveer 60 respondenten te weinig.
Antwoorden
1. Welke respondenten zijn ondervertegenwoordigd en hoe kunnen we deze toch nog bereiken?
Mensen met een buitenlandse herkomst zijn ondervertegenwoordigd. Om deze nog te bereiken zullen we samenwerken met ondernemingen. UAV België gaat de survey delen binnen het bedrijf en ook naar connecties. Daarnaast zal UCT Gent de survey ook delen via eigen kanalen. NederlandsOefenen.be zal de survey in hun nieuwsbrief plaatsen op 21 december. Voor de rest zijn er nog tal van organisaties gecontacteerd, maar hier is nog geen respons op gekomen. We blijven bedrijven en verenigingen contacteren in de hoop voor een samenwerking.
2. Hoeveel persona's verwachten we te bekomen?
Aan de hand van de thema's binnen de survey hebben we nagedacht over welke persona's er zouden kunnen bestaan. Hier kwamen we op 6 verschillende persona's rekeninghoudend met leeftijd, opleiding, moedertaal, leesprofiel, nieuwsgebruik, algoritmewijsheid, voorkeur van nieuwsselectie, digitale geletterdheid en digitale skills. Na een grondige analyse kwamen we uit op 4 relevante persona's.
3. Welke methode gebruiken we om de segmentatie te bekomen?
Hiërarchische clustering gemaakt aan de hand van 7 clusters, dan bleek dat dit aantal te veel was aangezien het niet significant was. Dan is er een clustering gedaan op 5 clusters, waarbij we niet significante waarden verwijderd hebben. Maar door deze te verwijderen werd de verdeling weer niet significant, dus kwamen we uiteindelijk op 4 clusters.
4. Op welke variabele kunnen we een segmentatie maken om persona's op te stellen?
De variabelen die significant bleken (significantie op basis van factorscore en somscore) uit de clustering zijn gebruikt om de persona's op te stellen. Het gaat om volgende variabelen: algoritmewijsheid, nieuwsconsumptie, bereidheid om gegevens te delen, voorkeur voor aanbevelingen, online skills, maatschappelijke taken vrt, kanalen, gepersonaliseerde taak VRT. Daarnaast worden ook nog demografische kenmerken toegevoegd om de persona's levendig te maken.
5. Hoeveel respondenten en experten interviews doen we en hoe pakken we het aan?
We doen 4 interviews bij respondenten en 4 interviews bij experten. Interviews afnemen, uittypen en de belangrijke informatie analyseren en toevoegen aan de persona's. Doorheen de volgende sprints zullen er nog verder interviews plaatsvinden de persona's nog beter te optimaliseren
Fase 2
01/11/2021 - 21/11/2021Doelstelling
Binnen deze sprint gaan we een vragenlijst rond nieuwsgebruik en -consumptie finaliseren. Nadien zullen we een pre-test uitvoeren om na te gaan of de survey duidelijk genoeg is. Deze survey zullen we dan verdelen aan de hand van het rekruteringsplan die we hebben opgesteld. Voor een representatieve steekproef te verkrijgen, werken we samen met een onderzoeksbureau. Het nadeel is dat dit bureau voornamelijk Belgen zal rekruteren, maar omdat de VRT inclusief wil zijn, is het belangrijk dat we alle Vlamingen bereiken. Hierdoor gaan wij ons focussen op mensen met buitenlandse herkomst tijdens de rekrutering. We beginnen geleidelijk aan met de resultaten te verwerken deze sprint, maar de effectieve resultaten zullen in sprint 3 geanalyseerd worden. Ten slotte gaan we ook op zoek naar welke experts relevant zijn om te interviewen binnen dit onderzoek. Hierdoor hebben we een mixed-methods strategie.
Vraagstelling
- Welke aanpassingen passen we toe om de survey op punt te stellen?
- Is de survey duidelijk voor iedereen?
- Welke strategie voeren we uit om de survey te verdelen?
- Welke experten kunnen relevant zijn om te interviewen?
Methodeplanning
- Aantal respondenten: 682
- Fase: Data verzameling
Taakverdeling
- Lien Rottiers
- Rein Bauwens
- Seppe Destoop
Volledig team
METHODIEK 1: Segmentation surveys
Aantal respondenten
Belangrijkste resultaten
- Om een representatief onderzoek te voeren, hebben we 619 respondenten nodig waarvan hun geboorteland België is. Daarnaast hebben we 63 respondenten nodig waarvan hun geboorteland buiten België is. Op dit moment hebben 513 respondenten waarvan 12 respondenten die buiten België geboren zijn. We starten op basis van deze data al met een eerste analyse en laten de rekrutering doorlopen in de volgende sprint. Ons finaal doel blijft om representatief te zijn op vlak van herkomst.
Antwoorden
1. Welke aanpassingen passen we toe om de survey op punt te stellen?
We hebben nog twee extra vragen toegevoegd aan de survey, zodat elk aspect binnen ons onderzoek bevraagd wordt. Deze aanpassingen waren:
1) Een vraag wat de taken die de VRT moet opnemen.
2) Een vraag welke gegevens de respondenten bereid zijn te delen voor persoonlijke nieuwsaanbevelingen.
2. Is de survey duidelijk voor iedereen?
Aan de hand van een pre-test zijn we te weten gekomen wat de moeilijkheden waren binnen de survey (vraagstelling, woordenschat, lengte van survey...). Glen heeft deze aanpassingen bekeken en meegenomen vooraleer we effectief van start gingen met de rekrutering.
3. Welke strategie voeren we uit om de survey te verdelen?
- Onderzoeksbureau
- Zelf doorsturen via sociale media naar kennissen en bepaalde groepen
- Organisaties contacteren die werken met mensen van buitenlandse herkomst
- Tablets om aan de supermarkt te staan
- Brieven verdeeld in regio's waarvan we weten dat de populatie grotendeels een buitenlandse herkomst heeft (bv. Rabot)
4. Welke experten kunnen relevant zijn om te interviewen?
Hiervoor wachten we tot op heden nog op het antwoord van Emilie en Thijs van de VRT. We hadden namelijk aan hen namen gevraagd van experts binnen de VRT. Aan de hand van de analyse die we maken uit de data, zou het kunnen dat er nog enkele relevante topics naar boven komen, waarbij er extra experts kunnen worden geraadpleegd.
Fase 1
04/10/2021 - 24/10/2021Doelstelling
Begrijpen van bedrijf en onderliggende structuur van de VRT, afbakenen van onderzoeksvraag, methodes bepalen en methodologisch pad bepalen.
Vraagstelling
- Wat zijn de noden en waarden van de VRT.
- Hoe ziet het macroperspectief van de VRT eruit?
- Welke twee communicatiedoelstellingen zijn relevant?
- Welke onderliggende vraagstelling kunnen worden opgesteld bij de communicatiedoelstellingen?
- Hoe ziet het methodologisch pad eruit?
Methodeplanning
- Aantal respondenten: 12
- Fase: Rapportering
Taakverdeling
- Muze Parmentier
- Jens Behiels
- Warre De Boever
- Thomas Termote
- Jody Van Herreweghe
- Seppe Destoop
- Simon Piscador
- Pauline Janclaes
- Bastien Willemot
- Lien Rottiers
- Rein Bauwens
- Margot Degraeve
METHODIEK 1: Stakeholder mapping
Aantal respondenten
Belangrijkste resultaten
- De belangrijkste stakeholders voor deze challenge zijn de directie informatie, directie connectie en de afdeling diversiteit.
- De waarden, normen en de huidige situatie van de VRT in kaart brengen
METHODIEK 2: Survey
Aantal respondenten
Belangrijkste resultaten
- Er werd een vragenlijst opgesteld om in sprint 2 de survey te kunnen afnemen. Het is de bedoeling om een representatieve steekproef van "alle Vlamingen" te bereiken. Aangezien we al weten dat de VRT bepaalde groepen niet bereikt (voornamelijk Vlamingen met etnische achtergrond, laaggeschoolden en meerderjarigen die naar de concurrenten overstappen) kunnen we nog een extra rekruteringsstrategie hanteren indien deze groepen ondervertegenwoordigd zijn.
Antwoorden
1. Tot een duidelijke onderzoeksvraag kunnen komen die in lijn ligt met de verwachtingen van VRT
Onze challenger is de VRT, maar we richten ons voor onze communicatiedoelstellingen naar de directie informatie, directie communicatie en de afdeling diversiteit. De VRT bereikt namelijk 15% van de Vlamingen niet. Daartoe behoren 18-44 jarigen, laaggeschoolden en Vlamingen met een buitenlandse herkomst. De VRT heeft de nood om inclusief en innovatief te zijn. Bij innovativiteit gaat de aandacht naar personalisatie en algoritmes. De eerder vermelde directies en afdelingen zetten zich in om alle Vlamingen te bereiken en op informatieverspreiding via algoritmes. Ze zoeken dus opportuniteiten om iedereen beter te bereiken aan de hand van personalisatie en algoritmes.
2. Context: het macroperspectief bekijken
Algoritmes komen steeds meer voor in de maatschappij, maar algoritmewijsheid ontbreekt vaak nog wat de digitale kloof nogmaals versterkt.
3. Twee duidelijke communicatiedoelstellingen formuleren
De eerste communicatiedoelstelling is een marktonderzoek presentatie waarbij we de voorkeur voor nieuwsconsumptie en algoritmewijsheid van de Vlaming in kaart brengen aan de hand van persona's.
De tweede communicatiedoelstelling is een opportunity pitch uitwerken die opportuniteiten biedt om elke persona beter te bereiken aan de hand van algoritmes en personalisatie. Hierbij wordt ook rekening gehouden met hun voorkeur voor nieuwsconsumptie.
4. Onderliggende vraagstelling bij de communicatiedoelstellingen opstellen
Onderliggende vragen bij doelstelling 1: "Wat is het consumptiegedrag inzake nieuwsinformatie bij Vlamingen?", "Hoe is het gesteld met algoritmewijsheid in Vlaanderen?"
Onderliggende vragen bij doelstelling 2: "Hoe ziet een inclusief aanbevelingssysteem er uit voor verschillende types gebruikers?", "Hoe ziet een gepersonaliseerd aanbevelingssysteem er uit voor verschillende types gebruikers?", "Hoe ziet een transparant aanbevelingssysteem er uit voor verschillende types gebruikers?"
5. Uittekenen van methodologisch pad
Voor de eerste doelstelling gebruiken we een survey en logging. Op basis hiervan zullen we persona's opstellen. Wanneer we diepgang missen om de persona's op te stellen, zullen we diepte-interviews uitvoeren om de persona's een meer correcte invulling te geven.
Voor de tweede doelstelling gebruiken we steeple en swot analyse. Deze methodes worden aangevuld met een scenario-analyse en co-creatie sessies per persona. Met behulp van experten-interviews zullen we meer inzicht verkrijgen over de mogelijkheden van algoritmes.
Wat nemen we mee naar de volgende onderzoeksstap?
Als eerste is het belangrijk dat de we onderliggende vraagstelling bij de doelstelling nog specifieker formuleren. We moeten daarbij concreet uitzoeken wat we voor wie doen en waarom. Daarnaast is het ook belangrijk dat we de concepten die we hanteren in de vraagstelling duidelijker conceptualiseren.
Als tweede moeten we het aantal en welke methodes we gebruiken herbekijken. Vooral bij doelstelling twee is het opnieuw aannemen van een macroperspectief minder relevant.
Te onthouden voor op te leveren tangible:
Direct inspelen op elke persona en hun pijnpunten te weten komen. Hierbij moeten we continu aan co-creatie doen om uiteindelijk een opportunity in de vorm van een mvp af te leveren.