Schoolproject
Onderzoek naar gebruik en toekomst van LLM's binnen Nederlandse IT-organisaties
Onderzoekscase over hoe softwareontwikkelaars in Nederland LLM's inzetten bij onderhoudstaken, welke voordelen en risico's zij ervaren, en waar de grootste groeikansen liggen.
Introductie
Dit onderzoek is uitgevoerd in het eerste semester van mijn afstudeerfase en had als doel om mijn onderzoekende vaardigheden aan te tonen, als onderdeel van de verplichte competenties binnen HBO-ICT. De inhoudelijke focus lag op softwareonderhoud: een onderdeel van software engineering waar de inzet van LLM's snel toeneemt, maar waar in de praktijk nog veel onduidelijkheid bestaat over nut, risico's en volwassen toepassingen.
Binnen het project heb ik samen met docenten van HBO-ICT die gespecialiseerd zijn in onderzoek gewerkt aan de afbakening, methode en analyse. Daarmee is het geen algemeen AI-verslag geworden, maar een compacte praktijkstudie naar hoe software engineers LLM's vandaag al gebruiken bij onderhoudstaken zoals debuggen, refactoren, documenteren en het uitleggen van code.
Hoofdvraag
Wat zijn (mogelijke) toepassingen van Large Language Models (LLM's), relevant voor softwareontwikkelaars in Nederland, met specifieke aandacht voor taken die vallen onder het onderhouden van software?
Onderzoeksmethode
Om de hoofdvraag te beantwoorden heb ik twee onderzoeksmethoden gecombineerd. Ten eerste is een enquete uitgevoerd onder software engineers in Nederland. Daarmee is in kaart gebracht welke onderhoudstaken al ondersteund worden met LLM's, welke voordelen en risico's worden ervaren en hoe ontwikkelaars het toekomstige gebruik inschatten.
De steekproef bestond uit 24 respondenten. Daarvan kwamen 4 reacties uit een uitnodiging aan bedrijven via NHL Stenden en 20 reacties via Prolific, gefilterd op Nederlandse respondenten in de IT-sector. De enquete combineerde Likert-vragen met open antwoorden, zodat zowel frequentiegegevens als inhoudelijke motieven konden worden geanalyseerd.
Naast de enquete heb ik een bronnenonderzoek uitgevoerd naar internationale praktijkvoorbeelden. Daarmee kon ik de Nederlandse uitkomsten spiegelen aan concrete toepassingen bij grotere organisaties. De analyse is vervolgens uitgewerkt in diagrammen, thematische samenvattingen en aanbevelingen voor zowel onderwijs als bedrijven.
Enquete
24 respondenten, combinatie van gesloten vragen en open toelichtingen.
Bronnenonderzoek
Praktijkvoorbeelden van internationale bedrijven voor bugfixing, documentatie en performanceverbetering.
Analyse
Likert-resultaten, thematische analyse van open antwoorden en vergelijking tussen huidig en toekomstig gebruik.
Belangrijkste resultaten
De resultaten laten zien dat LLM's in Nederland al breed worden ingezet, maar nog vooral als ondersteunende tool. De meest genoemde toepassingen zijn debuggen, uitleggen van code, refactoren en documenteren. De uitkomsten wijzen er tegelijk op dat de stap naar geavanceerdere of meer geautomatiseerde inzet nog niet overal is gemaakt.
Een belangrijke observatie is het leereffect: ontwikkelaars die LLM's vaker gebruiken, ervaren ze ook als nuttiger. Dat maakt de uitkomst relevant voor zowel onderwijs als bedrijven. De barrieres zitten in techniek, ervaring, vertrouwen en het aanleren van een goede manier van werken met deze tools.
Diagrammen en observaties
Huidige toepassingen in open antwoorden
Voordelen en zorgen die het sterkst terugkwamen
Toekomstverwachting
Uit de vergelijking tussen huidig gebruik en verwachte toekomstige inzet blijkt dat bij alle onderzochte onderhoudstaken groei wordt verwacht.
- Documenteren van code
- Debuggen van code
- Uitleggen van code
- Refactoren en performanceverbetering
Technieken en technische uitdagingen
Enquete-opzet
Gebruikt om huidig gebruik, verwachte toekomstige inzet en open toelichtingen op te halen. De uitdaging zat in het combineren van kwantitatieve schaalvragen met bruikbare open antwoorden zonder de enquete te lang te maken.
Thematische analyse
Gebruikt om open antwoorden te standaardiseren en terugkerende patronen te herkennen. De technische uitdaging zat hier in het eenduidig clusteren van varianten, synoniemen en gemengde antwoorden.
Diagrammen en vergelijkingen
Gebruikt om huidig gebruik, ervaren nut en toekomstverwachtingen scanbaar te maken. De uitdaging was om de visualisaties compact te houden zonder nuance uit de resultaten weg te halen.
Bronnenonderzoek
Gebruikt om Nederlandse praktijkresultaten te spiegelen aan voorbeelden van grote internationale bedrijven. De uitdaging was om voorbeelden te kiezen die echt vergelijkbaar en relevant waren voor softwareonderhoud.
Het technisch sterkste onderdeel van dit project zat in de analysefase. Daar moest ik open antwoorden structureren, relevante thema's afbakenen en de uitkomsten vervolgens koppelen aan visuele representaties. Juist op dat analyseren is het project ook het best beoordeeld.
Wat ik geleerd heb
- Onderzoek scherper afbakenen wanneer een eerste onderzoeksopzet te breed blijkt te zijn.
- Kwantitatieve uitkomsten combineren met kwalitatieve toelichtingen om een sterker onderbouwde conclusie te formuleren.
- Open antwoorden systematisch analyseren, standaardiseren en terugbrengen naar bruikbare thema's.
- Resultaten vertalen naar aanbevelingen voor zowel onderwijs als bedrijven in plaats van alleen een beschrijvend onderzoek op te leveren.
- Beter onderbouwen welke onderzoeksmethode past bij het type vraag en de beschikbare respons.