Samme tester hvert år, eller skift? Kontinuitet over for nye øjne

Når en penetrationstest gentages, melder spørgsmålet sig, om den samme tester skal have opgaven igen. Der findes ikke ét rigtigt svar. Valget hviler på, hvad testen skal bruges til: Skal resultaterne kunne sammenlignes over tid, eller er det vigtigere, at nogen ser på systemerne uden forudfattede meninger?

Samme tester giver kendskab, sammenlignelighed og en kortere opstart. En ny tester giver et andet blik, andre erfaringer og en kontrol af, om den tidligere test overså noget. En mellemvej kan være kontinuitet i en periode og et bevidst skift med mellemrum eller ved store ændringer. Det vigtigste er, at valget træffes aktivt og ikke blot sker, fordi det er nemmest at bestille det samme som sidst.

Spørgsmålet er, hvad testen skal sammenlignes med

En gentaget test kan have to formål, som trækker i hver sin retning. Det ene er at følge udviklingen: er de fund, der blev rapporteret sidst, rettet, og er niveauet bedre eller dårligere? Det andet er at finde det, der endnu ikke er fundet.

Det første formål taler for kontinuitet, fordi sammenligning kræver nogenlunde ens metode og omfang. Det andet taler for variation, fordi den samme tilgang let finder de samme ting. Hvad der faktisk kan sammenlignes fra test til test, er behandlet i → Fremskridt fra test til test

Det taler for den samme tester

En tester, der har testet kundeportalen før, kender opbygningen, rollerne og de svage punkter fra sidst. Opstarten bliver kortere, og mere af tiden kan bruges på selve undersøgelsen.

Kendskab · testeren ved, hvor de vigtige funktioner er, og hvad der blev fundet sidst.
Sammenlignelighed · metode og rapportform er de samme, så udviklingen er lettere at aflæse.
Opfølgning · testeren kan vurdere, om tidligere fund er rettet, eller om de er dukket op igen.
Tillid · virksomheden kender arbejdsformen, og testeren kender kontaktpersonerne.

Kontinuitet har størst værdi, når systemerne ikke er ændret grundlæggende, og når testens formål er det samme fra gang til gang. Fund, der går igen, er en vigtig oplysning, og den er lettest at få øje på for den, der skrev det oprindelige fund. Det kan pege på et problem i den måde, rettelser gennemføres på, og ikke kun i selve systemet. → Fund, der går igen fra test til test

Det taler for at skifte

Den samme tester kan let komme til at gå de samme veje. Det er menneskeligt og ikke et tegn på dårligt arbejde, men det betyder, at blinde vinkler kan gå igen fra år til år.

En ny tester har andre erfaringer og andre vaner. Det kan føre til fund, som den tidligere tester ikke kom forbi, eller til en anden vurdering af, hvad der vejer tungest. Et skift er også en form for kontrol af den tidligere test. Hvis den nye tester finder forhold, der burde have været set før, er det en oplysning om dækningen sidst. Finder den nye tester det samme billede, styrker det tilliden til de tidligere resultater.

Afhængighed er et andet argument. Er det kun én tester, der kender jeres systemer, er virksomheden sårbar, hvis testeren ikke længere er tilgængelig. Endelig kan en kunde eller en revisor spørge, om det altid er den samme part, der tester, og hvordan virksomheden sikrer sig mod rutine. → Den årlige test

Mellemveje

Valget behøver ikke være enten eller. Der er flere måder at få noget af begge dele på.

Skift med mellemrum · den samme tester i en periode og derefter en ny, så sammenlignelighed og nye øjne skiftes.
Skift ved store ændringer · en ny tester, når et system er bygget om eller erstattet, fordi kendskabet alligevel er forældet.
Ny vinkel med samme tester · samme tester, men et andet perspektiv, fx fra intern position frem for ekstern, eller med en anden grad af forhåndsviden.
Supplerende test · den faste tester bevarer hovedopgaven, mens en anden tester undersøger et afgrænset område.

Den tredje mulighed har en grænse. En ny vinkel kan give nye fund, men den samme person har stadig de samme erfaringer. Brug den, når kontinuitet vejer tungt, men regn den ikke for et fuldt skift. Hvordan forhåndsviden påvirker testen, er beskrevet i → Black box, grey box og white box

Hvis I tester ofte, kan en rammeaftale med en fast tester være praktisk. Overvej i så fald, hvordan nye øjne kommer ind over tid. → Rammeaftale om penetrationstest

Hvis I skifter: overdragelse

En ny tester skal sættes ind i opgaven. Beslut, hvor meget af den tidligere test der skal deles. Tidligere rapporter giver et udgangspunkt og gør det muligt at følge op på kendte fund. De kan også styre den nye tester i retning af det, der allerede er undersøgt.

Et kompromis er at dele scope og listen over tidligere fund, men lade selve undersøgelsen begynde uden de tidligere detaljer. Så kan den nye tester vurdere de kendte fund og samtidig se på resten med friske øjne.

Tænk også på de praktiske forhold. Testkonti, kontaktpersoner, testvinduer og leverandørgodkendelser er ofte knyttet til den tidligere tester og skal fornyes. En godkendelse fra hostingfirmaet til navngivne personer gælder ikke automatisk for en ny part. Uanset valget bør nye tilbud bygge på en opdateret opgavebeskrivelse og ikke på sidste års tekst. → Sidste års opgave uden ændringer

Det skal I lade være med

At beholde testeren af vane · Vurder valget hver gang, en ny test bestilles.
At skifte for at få færre fund · Formålet er at se mere, ikke at få en pænere rapport.
At måle testere på antallet af fund · Flere fund er ikke det samme som en bedre test.
At sammenligne resultater på tværs af testere uden forbehold · Forskellige metoder giver forskellige billeder.
At glemme overdragelsen · En ny tester skal have et opdateret grundlag.
At gøre virksomheden afhængig af én person · Kendskabet skal ligge i dokumentationen.

Hvad kan og ikke kan konkluderes

En test uden nye fund fra den samme tester viser, at testeren ikke fandt nyt med sin tilgang. Det er ikke det samme som, at der ikke er noget at finde. Omvendt viser nye fund fra en ny tester ikke nødvendigvis, at den tidligere test var mangelfuld. Systemerne kan have ændret sig, eller testerne kan have prioriteret forskelligt. → Antal fund er ikke kvalitet