@@ -83,7 +83,7 @@ quick_navigation:
 <br>
 
 #### Description
-Private and public sector organizations alike are eager to leverage the capabilities of AI. This requires **adapting general-purpose AI (GPAI) systems to work processes they are not necessarily designed or tested for**. For example, a Dutch judiciary authority's chatbot may refuse a resident's question about who maintains the 'privé gedeelte' of an apartment building, because a content filter designed in English [flags the words 'private parts' as sexual content](https://algorithmaudit.eu/knowledge-platform/knowledge-base/20260924_vangrails_blogpost/). Alternatively, a municipal chatbot may send Mehmet - a lifelong Rotterdamer asking where to renew his passport - to the immigration service, while Daan gets the right answer immediately, since the provider didn't test for harms specific to the Dutch context. 
+Private and public sector organizations alike are eager to leverage the capabilities of AI. This requires **adapting general-purpose AI (GPAI) systems to work processes they are not necessarily designed or tested for**. For example, a Dutch judiciary authority's chatbot will refuse a resident's question about who maintains the 'privé gedeelte' of an apartment building, because a content filter designed in English [flags the words 'private parts' as sexual content](https://algorithmaudit.eu/knowledge-platform/knowledge-base/20260924_vangrails_blogpost/). <a href="https://research.vu.nl/en/publications/benchmarking-municipal-ai-chatbot-performance-mixed-methods-insig/" target="_blank">A 2025 study</a> found that a Dutch municipality chatbot pointed new residents named Mehmet or Fatima who asked about housing help to asylum services, while Lotte and Martin were told about income support. The original model from OpenAI showed no such bias - it only appeared when it was adapted to the Dutch context.
 
 To deploy AI responsibly, **practitioners need understanding of how existing evaluations translate to a context and where gaps arise**. GPAI is evaluated on common tests known as 'benchmarks'. But popular benchmarks are usually limited in their linguistic or cultural scope, cover limited types of user interaction, and vary wildly in their scientific quality and robustness. Appropriate evaluation often requires building tailored benchmarks from new datasets but also asks for practical validation using custom test cases to ensure systems function as intended once deployed.  
 
 
@@ -83,7 +83,7 @@ quick_navigation:
 <br>
 
 #### Beschrijving
-Zowel organisaties in de particuliere als de publieke sector willen graag gebruikmaken van de mogelijkheden van AI. Dit vereist dat **AI-systemen voor algemeen gebruik (general purpose AI - GPAI) worden aangepast aan werkprocessen waarvoor ze niet per se zijn ontworpen of getest**. Zo kan de chatbot van de Rechtspraak de vraag van een inwoner over wie het ‘privé gedeelte’ van een appartementencomplex onderhoudt, afwijzen, omdat een in het Engels ontworpen content filter de woorden [‘private parts’ als seksuele inhoud markeert](https://algorithmaudit.eu/knowledge-platform/knowledge-base/20260924_vangrails_blogpost/). Of een gemeentelijke chatbot kan Mehmet – een geboren en getogen Rotterdamer die vraagt waar hij zijn paspoort kan verlengen – doorverwijzen naar de immigratiedienst, terwijl Daan meteen het juiste antwoord krijgt, omdat de aanbieder niet heeft getest op risico’s die specifiek zijn voor de Nederlandse context.
+Zowel organisaties in de particuliere als de publieke sector willen graag gebruikmaken van de mogelijkheden van AI. Dit vereist dat **AI-systemen voor algemeen gebruik (general purpose AI - GPAI) worden aangepast aan werkprocessen waarvoor ze niet per se zijn ontworpen of getest**. Zo kan de chatbot van de Rechtspraak de vraag van een inwoner over wie het ‘privé gedeelte’ van een appartementencomplex onderhoudt, afwijzen, omdat een in het Engels ontworpen content filter de woorden [‘private parts’ als seksuele inhoud markeert](https://algorithmaudit.eu/knowledge-platform/knowledge-base/20260924_vangrails_blogpost/). Uit een <a href="https://research.vu.nl/en/publications/benchmarking-municipal-ai-chatbot-performance-mixed-methods-insig/" target="_blank">onderzoek uit 2025</a> bleek dat een chatbot van een Nederlandse gemeente nieuwe inwoners met de naam Mehmet of Fatima, die vroegen naar hulp bij het vinden van woonruimte, doorverwees naar asieldiensten, terwijl Lotte en Martin informatie kregen over inkomenssteun. Het oorspronkelijke model van OpenAI vertoonde geen dergelijke vooringenomenheid – die kwam pas naar voren toen het werd aangepast aan de Nederlandse context.
 
 Om AI op een verantwoorde manier in te zetten, **moeten professionals begrijpen hoe bestaande evaluaties zich vertalen naar een bepaalde context en waar er hiaten ontstaan**. GPAI wordt beoordeeld aan de hand van gangbare tests, ook wel ‘benchmarks’ genoemd. Maar populaire benchmarks zijn meestal beperkt qua taalkundige of culturele reikwijdte, bestrijken slechts een beperkt aantal soorten gebruikersinteracties en lopen enorm uiteen in wetenschappelijke kwaliteit en robuustheid. Voor een goede evaluatie is het vaak nodig om op maat gemaakte benchmarks te ontwikkelen op basis van nieuwe datasets, maar er is ook praktische validatie nodig met aangepaste testcases om ervoor te zorgen dat systemen na implementatie werken zoals de bedoeling is.