Hvorfor jeg ikke længere stoler på demos, når vi vælger AI-platforme

Her er den korte version, før kalenderen kalder igen:

• Demos gør dig forelsket, et vendor scorecard gør dig ædru.
• Du skal vægte forretning, data, drift, sikkerhed, økonomi og leverandørrisiko, ikke bare features.
• Lav 3 ting fast: minimumskrav (gate), vægtning, simpel TCO-model.
• Enkelt beslutningsprincip: "godt nok + lav risiko" slår "vildt imponerende + høj lock-in".
• Du kan bruge den samme struktur til næste RFP, SaaS-evaluering eller forhandling.

Nu den lidt længere version.

Da vi forelskede os i den forkerte platform

Jeg har siddet med i flere valg af analytics- og AI-platforme, end jeg egentlig har lyst til at indrømme. Et af de første forløb står stadig ret tydeligt.

Vi havde tre leverandører inde. Alle var dygtige. Den ene havde en demo, der lignede en Netflix-oplevelse for data. Glatte dashboards, AI-assistenter der skrev forklaringer, og alt var "no code" og "klar på få uger".

Det var den platform, alle i rummet kunne huske bagefter.

Problemet var bare, at den scorede lavest på de kedelige ting: logning, EU-hosting, integration til vores gamle ERP og muligheder for at komme ud igen, hvis vi blev trætte af dem. Det blev tydeligt, da vi et par dage senere satte tallene i et enkelt vendor scorecard.

Hvis vi kun havde valgt på demo og stemning, havde vi købt os ind i en dyr og pænt låst fremtid.

Det er her, et vendor scorecard til AI- og analytics-platforme gør en forskel. Ikke som Excel-ritual for sin egen skyld, men som et værn mod begejstring, mavefornemmelser og tilfældige præsentationsevner.

Hvorfor et scorecard slår demo-forelskelse

De fleste valg af AI- og analytics-platforme har samme mønster:

• En overfyldt RFP med 120 "kan systemet…"-spørgsmål.
• Tre leverandører, der alle siger ja til 95 %.
• Nogle solide demoer, hvor alle ser nogenlunde gode ud.
• Og til sidst: en lidt utydelig beslutning, hvor pris, kemi og mavefornemmelse vejer tungere end nogen har lyst til at sige højt.

Jeg synes, der er tre gennemgående fejl, når virksomheder vælger AI- eller dataplatforme:

• Features over forretning: Man vurderer funktioner, ikke effekten på konkrete use cases og tid til værdi.
• Licenspris over TCO: Man fokuserer på pris pr. bruger eller pr. time, men glemmer driftsomkostninger, konsulenter, opsigelsesvilkår og træning.
• Demo over drift: Man ser et poleret scenarie, ikke hverdagen med fejl, data der driller og brugere, der har travlt.

Et enkelt, gennemtænkt vendor scorecard til din AI-platform hjælper dig ikke kun med at vælge "den bedste". Det gør to andre vigtige ting:

• Det dokumenterer, hvorfor du valgte, som du gjorde (nyttigt, når nogen spørger om 2 år).
• Det gør det lettere at få accept i ledelse og bestyrelse, fordi argumentet bliver gennemsigtigt og struktureret.

Og så passer det fint ind i en mere moden tilgang til digitalisering og teknologi, hvor man ikke længere vælger systemer ud fra, hvem der har den flotteste PowerPoint.

Scorecard-strukturen: 6 kategorier der skal være med

Jeg plejer at køre med seks hovedkategorier, uanset om det er en tung dataplatform eller en lettere AI-SaaS. Vægtene kan justeres, men selve rammen holder fint på tværs af brancher.

En simpel struktur kan se sådan her ud (procent er vægt i den samlede vurdering):

• Forretningsfit: 25 %
• Data & integration: 20 %
• Sikkerhed & compliance: 15 %
• Drift & support: 15 %
• Økonomi & TCO: 15 %
• Leverandørrisiko & lock-in: 10 %

Lad os tage dem en ad gangen og gøre dem konkrete.

Forretningsfit: Kan den faktisk skabe værdi hurtigt?

Her ser jeg på, hvor tæt platformen ligger på de konkrete use cases, I allerede har besluttet.

De tre vigtige underkriterier er typisk:

• Use case-dækning: Kan de demonstrere jeres 3 vigtigste use cases på en troværdig måde, ikke bare noget, der ligner?
• Time-to-value: Hvor lang tid tager det realistisk at få første løsning i drift? Måneder, uger eller år?
• Brugeradoption: Hvor meget kræver det af jeres folk? Skal alle lære et nyt sprog, eller lægger det sig oven på eksisterende værktøjer?

Her kan du fint give hver leverandør en score fra 1 til 5 på hvert underkriterium og vægte dem, fx 40/40/20.

En klassisk fælde: At lade sig imponere af en AI-feature, der ikke matcher nogen som helst prioriteret forretningsopgave. Så bliver det legetøj, ikke værktøj.

Data & integration: Det kedelige, der afgør alt

AI- og analytics-løsninger står og falder med, hvor godt de spiller med jeres data og jeres øvrige systemer. Her synes jeg, man skal være ret konkret:

• Hvilke datakilder understøttes out-of-the-box?
• Hvor moden er API-understøttelsen? (Rate limits, dokumentation, standarder).
• Hvordan håndterer de lineage (sporbarhed), metadata og datakvalitet?

Hvis de ikke kan forklare, hvordan data bevæger sig igennem platformen, og hvor du kan se, hvad der er sket med det, får du svært ved at leve med løsningen, når den skal revideres eller fejlsøges.

Det er også her, forskellen mellem "dataplatform" og "AI-platform" bliver relevant. Mange AI-platforme antager, at nogen andre har gjort det tunge dataarbejde først. Hvis du ikke har en stærk dataplatform i forvejen, er det en vigtig faktor i vurderingen.

Sikkerhed & compliance: Fra "ja, vi er sikre" til bevis

Sikkerhedsdelen er ikke længere noget, man kan parkere hos IT. AI-platforme arbejder med forretningskritiske data, og ansvaret ender ofte i direktionen og bestyrelsen.

Her går jeg som minimum efter:

• Konkrete svar på hosting (EU/EØS, underdatabehandlere, lokationer).
• Standarder og certifikater (ISO 27001, SOC 2 osv.).
• Logning og sporbarhed: Kan man se, hvem der har gjort hvad og hvornår?
• Databehandleraftale: Tydelig rollefordeling og ansvar.

Det kan være en fordel at koble dette direkte til de overvejelser, du måske allerede har haft om NIS2 eller andre reguleringer. Vi har tidligere skrevet om NIS2-arbejdet i artiklen NIS2 uden panik, hvor samme tankegang går igen: få styr på ansvar, processer og bevisførelse.

Drift & support: Hvad sker der tirsdag kl. 23.30?

Demos foregår tirsdag formiddag. Problemerne dukker ofte op tirsdag aften.

Under drift og support kigger jeg på:

• SLA: Oppetid, svartider og hvordan det måles.
• Supportkanaler: Mail, telefon, chat, 24/7 eller kun kontortid.
• Incident management: Hvordan håndterer de fejl, brud og kritiske hændelser?
• Monitoring: Hvad kan I selv se og reagere på, og hvad er skjult?

Her er det en god idé at spørge efter konkrete rapporteksempler og ikke bare acceptere standardsvar. Hvis du ikke kan få visuelle eksempler på månedlige driftsrapporter, eksisterer de ofte ikke.

Økonomi & TCO: Det, der ligger under licensprisen

Det er sjældent licensprisen, der vælter budgettet. Det er alt det, der kommer rundt om.

En simpel TCO-model for en AI- eller analytics-platform bør som minimum have:

• Licenser/abonnement (brugere, compute, data, moduler).
• Implementering (konsulenter, interne timer, integrationer).
• Løbende drift (support, vedligehold, opskalering af kapacitet).
• Uddannelse og adoption (træning, change management).
• Exit-omkostninger (dataudtræk, migrering, bindingsperioder).

Jeg plejer at lægge en 3-5 års horisont på og spørge leverandøren, hvor de typisk ser, at kunder undervurderer omkostningerne. De ærlige svar her er ofte mere værdifulde end resten af tilbuddet.

Leverandørrisiko & lock-in: Hvad hvis de bliver købt, ændrer strategi eller bare trætte?

AI- og analytics-markedet bevæger sig hurtigt. Leverandøren du vælger i dag, kan være ejet af nogen helt andre om tre år.

Derfor er det værd at score dem på:

• Finansiel sundhed og ejerskab.
• Produktroadmap og gennemsigtighed.
• Muligheder for at komme ud: Dataeksport, standardformater, kontraktlige vilkår.
• Afhængighed af proprietære værktøjer vs åbne standarder.

Det her hænger tæt sammen med god praksis for it-kontrakter og er præcis den slags ting, der gør, at jurister og tekniske folk nogle gange taler forbi hinanden. Scorecardet kan fungere som fælles reference.

Sådan vægter du: tre realistiske profiler

Der er ikke én rigtig vægtning. Jeg ser typisk tre profiler hos danske virksomheder, afhængig af størrelse og regulering.

1. Mellemstor virksomhed uden tung regulering

Her er det forretningshastighed og pragmatik, der styrer. En mulig vægtning kunne være:

• Forretningsfit: 30 %
• Data & integration: 20 %
• Sikkerhed & compliance: 10 %
• Drift & support: 15 %
• Økonomi & TCO: 15 %
• Leverandørrisiko & lock-in: 10 %

Pointen er: Få noget i drift, der virker på de vigtigste use cases, uden at skyde helt forbi compliance. Men du skal stadig have minimumskrav på sikkerhed.

2. Finans, energi, sundhed eller andre tungt regulerede

Her får sikkerhed, sporbarhed og driftsstabilitet væsentligt mere vægt:

• Forretningsfit: 20 %
• Data & integration: 20 %
• Sikkerhed & compliance: 25 %
• Drift & support: 15 %
• Økonomi & TCO: 10 %
• Leverandørrisiko & lock-in: 10 %

Det gør valget lidt langsommere, men risikoen ved at træffe et dårligt valg er også højere, både regulatorisk og omdømmemæssigt.

3. Scale-up eller vækstcase med globalt sigte

Her er billedet ofte et andet: man jagter fleksibilitet og skaleringsmuligheder.

• Forretningsfit: 25 %
• Data & integration: 25 %
• Sikkerhed & compliance: 10 %
• Drift & support: 10 %
• Økonomi & TCO: 10 %
• Leverandørrisiko & lock-in: 20 %

Lock-in vægtes højere, fordi man godt ved, at tech-stakken ikke ser ens ud om 5 år. Man vil gerne kunne skifte komponenter, i stedet for at rive hele huset ned.

RFP-tekster: 15 spørgsmål der giver sammenlignelige svar

Et scorecard er kun så godt som de data, du putter ind i det. Hvis din RFP mest består af ja/nej-spørgsmål, får du svar, der er svære at skelne fra hinanden.

Her er 15 spørgsmål, jeg har gode erfaringer med, når man vil have brugbare, sammenlignelige svar til evaluering af en AI- eller analytics-platform:

1. Beskriv, hvordan jeres platform understøtter følgende tre use cases: [indsæt jeres egne]. Inkluder estimeret tid til første produktion.
2. Angiv hvilke datakilder I kan forbinde til uden specialudvikling, og hvordan forbindelsen vedligeholdes over tid.
3. Vis et eksempel på, hvordan data lineage og metadata vises for en typisk datamodel i jeres platform.
4. Beskriv jeres standard setup for miljøer (dev/test/prod) og deployment-flow.
5. Angiv hostinglokationer, brug af underdatabehandlere og hvordan I sikrer overholdelse af EU-lovgivning.
6. Vedlæg oversigt over relevante certificeringer (fx ISO, SOC 2) og hvilke områder de dækker.
7. Vis et eksempel på driftsrapporter og incident-rapport for et realistisk nedbrud.
8. Beskriv jeres standard SLA, inklusive svartider på kritiske incidents og procedurer for eskalation.
9. Udarbejd en 3-årig TCO-estimering for et scenarie med [X brugere], [Y datakilder] og [Z AI-modeller], opdelt i licens, implementering, drift og træning.
10. Angiv, hvilke dele af løsningen der typisk kræver konsulentbistand, og hvilke der kan varetages af kunden efter oplæring.
11. Beskriv muligheder og betingelser for fuldt dataudtræk ved ophør, inklusive formater og varslingsfrister.
12. Forklar jeres produktroadmap for de næste 18 måneder, og hvordan kunder involveres i prioritering.
13. Beskriv, hvordan I håndterer AI-modeller i platformen: træning, versionering, overvågning og håndtering af bias.
14. Angiv jeres typiske kundesammensætning (størrelse, brancher) og to referencer, der ligner vores situation.
15. Beskriv, hvordan jeres platform understøtter styring og governance af AI, fx roller, rettigheder og godkendelsesflows.

Det her er ikke smuk poesi, men det giver dig svar, du faktisk kan evaluere og sammenligne systematisk. Og det spiller godt sammen med både leverandørvalg generelt og mere brede emner som organisering og governance af teknologi og data.

Beslutningsreglen: Hvornår er "godt nok" bedre end "flot demo"?

Selv med et godt scorecard ender man tit i et felt, hvor to leverandører ligger ret tæt. Så kommer tvivlen.

Her plejer jeg at bruge tre enkle regler:

• Hvis forskellen i samlet score er under 5 %, så kig ikke på features først. Kig på TCO og lock-in.
• Hvis den ene leverandør scorer markant lavere på sikkerhed/compliance end de andre, er det som regel ikke værd at kompensere med pris.
• Hvis én løsning er "god nok" på alt og stærk på drift/support, mens en anden er "imponerende" på features, men svag på drift, så vælg den første. Hverdagen vinder over showet.

Pointen er, at beslutningen skal være bevidst. Det er i orden at vælge en leverandør, der ikke scorer højest på alle parametre, hvis du kan forklare hvorfor.

Mini-case: Fra tre kandidater til én beslutning

Lad mig runde af med et konkret eksempel, som ligner noget, mange vil kunne genkende.

En mellemstor dansk virksomhed skulle vælge en fælles AI- og analytics-platform. De havde tre leverandører i spil:

• Leverandør A: Stor international aktør, stærk brand, bred funktionalitet.
• Leverandør B: Niche-aktør med fokus på netop deres branche.
• Leverandør C: Mindre, men teknisk stærk, bygget på åbne standarder.

De brugte nogenlunde den scorecard-struktur, vi har været igennem. Resultatet så sådan her ud (vægtet score, 1-5 skala):

• Forretningsfit: A: 4,2 B: 4,6 C: 3,8
• Data & integration: A: 4,0 B: 3,5 C: 4,4
• Sikkerhed & compliance: A: 4,5 B: 3,2 C: 4,0
• Drift & support: A: 4,3 B: 3,8 C: 3,9
• Økonomi & TCO (3 år): A: 3,2 B: 4,0 C: 4,1
• Leverandørrisiko & lock-in: A: 3,3 B: 3,0 C: 4,3

Samlet vægtet score (med deres vægtning):

• Leverandør A: 3,95
• Leverandør B: 3,82
• Leverandør C: 4,07

Før scorecardet var alle næsten sikre på, at Leverandør A ville vinde. Større brand, flotte demoer, mest komplette salgsmateriale.

Efter scorecardet blev billedet et andet. C lå samlet højest, især fordi de var stærke på integration, TCO og lav lock-in. Og B viste sig at være mere sårbare på sikkerhed og drift, end nogen havde forventet.

Beslutningen endte på C, selv om nogle stadig syntes, at demoen var "lidt mindre lækker". Argumentet for bestyrelsen blev enkelt:

• De dækker vores vigtigste use cases tilstrækkeligt.
• De er billigere over 3 år, når vi medregner drift.
• Vi kan komme ud igen uden at rive alt andet ned.

Var det den mest imponerende løsning teknisk set? Måske ikke. Var det den rigtige for deres forretning, deres risikoprofil og deres mod på forandring? Ja, det tror jeg stadig.

Konklusion: Gør det kedelige arbejde én gang, brug det mange gange

Et godt vendor scorecard til AI- og analytics-platforme er ikke et Excel-monster, der skal holdes i live for evigt. Det er et stykke stillads, du bygger rundt om en vigtig beslutning, så den ikke vælter, når nogen puster til den.

Hvis jeg skal koge det ned til en praktisk to-do-liste til næste valg af AI- eller analytics-platform, vil jeg foreslå:

• Definér 3-5 konkrete use cases, der skal afgøre, om platformen skaber værdi.
• Byg et simpelt scorecard med de 6 kategorier og en vægtning, der passer til jeres virkelighed.
• Lav 10-15 skarpe RFP-spørgsmål, der giver forskel, ikke bare "ja".
• Regn en realistisk TCO over 3-5 år, inklusiv drift, træning og exit.
• Aftal på forhånd, hvad der er "no go" (gate-krav) på sikkerhed, drift og dataejerskab.

Så er du et godt stykke fra demo-forelskelse og et pænt skridt tættere på et valg, du også kan stå på mål for om tre år, når nogen spørger, hvorfor I egentlig valgte den platform.

Og ja, det er lidt kedeligere end at se endnu en AI-assistent skrive tekster live på skærmen. Til gengæld er chancen større for, at du stadig er tilfreds, når den assistent en dag begynder at lave fejl mandag morgen kl. 08.15.