Voor wie deze vragenlijst is en hoe je hem gebruikt
Deze vragenlijst is voor de mensen die AI-software goedkeuren: CTO's, security- en privacyverantwoordelijken en inkoop. Een standaard beveiligingsreview van software mist vaak de vragen die ertoe doen als een product je data naar een taalmodel stuurt, een agent laat handelen in je systemen of antwoorden geeft waar je medewerkers op vertrouwen. Deze vragenlijst stelt die vragen wel.
Traditionele vragenlijsten gaan over hosting, versleuteling en certificeringen. Die blijven belangrijk, dus blijf ernaar vragen. AI-producten brengen nieuwe vragen mee: welke modelaanbieders je data zien, of je data wordt gebruikt om modellen te trainen, wat het product logt over prompts en output, hoe kwaliteit wordt gemeten en wat er gebeurt als het model iets fout doet. De download (Engelstalig) verdeelt 48 vragen over acht onderwerpen, elk met een toelichting waarom de vraag ertoe doet.
Zo gebruik je de vragenlijst:
- 01Baken eerst de toepassing af. Schrijf op wat het product gaat doen, welke data het raakt en of het acties uitvoert of alleen voorstellen doet. Een tool die interne samenvattingen opstelt, vraagt een lichtere review dan een agent die klantgegevens bijwerkt.
- 02Stuur de vragen vroeg. Deel ze vóór de laatste commerciële ronde, zodat de antwoorden meetellen bij het maken van de shortlist.
- 03Vraag om bewijs. Vraag bij elk antwoord om het document, de instelling of het voorbeeld dat het onderbouwt: een lijst met subverwerkers, een verwerkersovereenkomst, een evaluatierapport, een uittreksel uit een auditlog.
- 04Scoor op dezelfde manier. Gebruik de scoring uit deze gids, zodat je twee leveranciers, of een leverancier en je eigen team, op dezelfde basis vergelijkt.
- 05Bewaar de antwoorden. Ze horen in het contractdossier en vormen het vertrekpunt voor je volgende review.
Hoe goede antwoorden eruitzien
Een goed antwoord is specifiek, controleerbaar en in lijn met het contract. Bij de verkoop van AI-producten krijg je vaak vage geruststellingen. Het helpt dus om te weten hoe een sterk antwoord klinkt voordat de antwoorden binnenkomen.
| Vraag | Zwak antwoord | Sterk antwoord |
|---|---|---|
| Wordt onze data gebruikt om modellen te trainen? | Wij nemen privacy zeer serieus. | Nee. Onze afspraken met modelaanbieders sluiten training op klantdata uit. Hier zijn de clausule en de accountinstelling. |
| Welke modelaanbieders verwerken onze data? | We werken met toonaangevende AI-aanbieders. | Een lijst met namen en per aanbieder de verwerkingsregio, opgenomen in de lijst met subverwerkers, met een melding vooraf bij wijzigingen. |
| Hoe meten jullie de kwaliteit van antwoorden? | Onze AI is zeer nauwkeurig. | Een testset per toepassing, de slagingspercentages van de laatste release en de regels die een release tegenhouden. |
| Kunnen we zien wat de AI heeft gedaan? | Logs zijn op verzoek beschikbaar. | Elke run wordt gelogd met input, bronnen, tool-aanroepen en output. Je kunt de logs exporteren en de bewaartermijn zelf instellen. |
| Wat gebeurt er als we vertrekken? | Dat bespreken we tegen die tijd. | Export in een gedocumenteerd formaat binnen een afgesproken termijn, daarna verwijdering met schriftelijke bevestiging. |
Sterke antwoorden benoemen ook beperkingen. Een leverancier die vertelt bij welke zaken het product minder goed werkt en hoe het die herkent, is meestal makkelijker om mee samen te werken dan een leverancier die zegt alles aan te kunnen. Kan een leverancier iets niet delen, vraag dan om een gesprek met de security- of engineeringverantwoordelijke onder een geheimhoudingsovereenkomst (NDA).
Let op wie antwoordt. Komen alle antwoorden van sales en geen enkele van engineering of security, dan beschrijven ze wat de leverancier van plan is. Vraag of de persoon die een incident op jouw account zou afhandelen de antwoorden nakijkt in de onderdelen die voor jou het belangrijkst zijn.