Falsk positiv og falsk negativ: når resultatet tager fejl

Et testresultat kan tage fejl i to retninger: det kan pege på en svaghed, der ikke findes, eller overse en, der gør. Begge fejl koster, men på forskellige måder, og derfor hviler et brugbart resultat på to ting: at fund er kontrolleret, før de rapporteres, og at rapporten ærligt siger, hvad der ikke blev undersøgt.

En falsk positiv er et resultat, der efter nærmere vurdering ikke viser det forhold, det påstår. En falsk negativ er en reel svaghed, som testen ikke opdagede. Den første spilder tid og tillid. Den anden giver en tryghed, der ikke er dækning for. Ingen test er fri for begge, men en god test gør dem sjældne og synlige.

To fejl med forskellige omkostninger

Det er nyttigt at tænke på de to fejl hver for sig, fordi de kræver forskellige modtræk. Falske positiver opdages typisk, når nogen forsøger at rette fundet og ikke kan genfinde problemet. Falske negativer opdages måske aldrig, eller først når svagheden bliver fundet af andre.

For køberen betyder det, at falske positiver er synlige og irriterende, mens falske negativer er usynlige og potentielt dyrere. En rapport med få fund kan være præcis, men den kan også være resultatet af en test, der ikke nåede langt. Rapporten skal gøre det muligt at skelne.

Falsk positiv: et fund, der ikke holder

Falske positiver kan opstå, når et resultat bygger på en antagelse frem for en kontrol. Et automatisk værktøj kan fx konkludere, at webshoppens server er sårbar, fordi den angiver en bestemt udgave, selv om producenten har rettet svagheden uden at ændre udgavenummeret. Uden kontrol bliver antagelsen til et fund.

Det er grunden til, at rå resultater fra en scanning ikke er det samme som en penetrationstest. Testerens opgave er netop at vurdere, om et muligt forhold er reelt i jeres miljø. Hvordan automatiske og manuelle dele spiller sammen, er beskrevet i → Automatisk eller manuel penetrationstest

Falske positiver har en pris, selv om de ikke er farlige. Driftsleverandøren bruger tid på at lede efter et problem, der ikke findes, og tilliden til de øvrige fund falder. En rapport med mange tvivlsomme fund kan få reelle problemer til at drukne.

Falsk negativ: det, testen ikke så

En falsk negativ er sværere at håndtere, fordi den per definition ikke står i rapporten. Hvis kundeportalen har en fejl i adskillelsen mellem kunder, som testeren ikke ramte, vil rapporten ikke nævne den. Læseren kan let komme til at tro, at fraværet af et fund betyder, at problemet ikke findes.

Derfor er det afgørende, at rapporten beskriver dækningen. Hvilke funktioner og roller blev afprøvet? Hvad var uden for scope, og hvad kunne ikke undersøges? Uden de oplysninger kan virksomheden ikke vurdere, hvor stor risikoen for oversete forhold er. En test uden fund kræver netop den læsning. → Pentest uden fund

Hvorfor testen kan overse noget

Der er flere almindelige grunde til, at en test kan overse en reel svaghed:

Begrænset tid · en afgrænset opgave kan ikke afprøve alle kombinationer i en stor løsning.
Scope · systemer, funktioner eller roller uden for aftalen bliver ikke undersøgt.
Manglende adgang · uden testkonti til alle roller kan fejl mellem rollerne ikke afprøves.
Forskelle mellem miljøer · et testmiljø kan opføre sig anderledes end produktionen.
Beskyttelse, der blokerer testeren · en beskyttelse kan stoppe testen, før den når den svaghed, en mere tålmodig angriber kunne nå.
Ændringer · en ny version efter testen kan have nye fejl.

Den sidste grund er værd at fremhæve. En test er et øjebliksbillede af løsningen, som den så ud i testperioden. Svagheder, der opstår efter testen, kan ikke kaldes oversete. De er nye.

Spørgsmålet om beskyttelser, der blokerer testeren, kræver en bevidst beslutning. Skal testeren afprøve selve løsningen bag beskyttelsen, eller er det beskyttelsen, der skal vurderes? Begge valg kan være rigtige, men de giver forskellige svar. → Whitelisting under pentest

Når I mener, et fund er forkert

Hvis jeres leverandør eller IT-afdeling mener, at et fund er en falsk positiv, så bed om en begrundelse, der kan efterprøves. Det er ikke nok, at nogen mener, at systemet er opdateret. Hvad blev kontrolleret, og hvordan? Bed derefter testeren om at forholde sig til begrundelsen.

En god rapport gør den drøftelse lettere, fordi fundet er dokumenteret med det, testeren faktisk iagttog. Hvis dokumentationen er tynd, kan det være svært for begge parter at afgøre, hvem der har ret. → Dokumentation af fund

Hvis fundet viser sig at være forkert, bør det markeres som sådan i jeres opfølgning med en kort begrundelse. Slet det ikke bare. Så kan en senere læser se, at det blev vurderet. Uenighed med en leverandør om et fund er behandlet i → Leverandøren afviser fundet

Sådan mindsker I begge fejl

Falske positiver mindskes ved, at testeren kontrollerer fund, før de rapporteres, og ved, at rapporten skelner mellem bekræftede og sandsynlige fund. Spørg gerne, hvordan leverandøren håndterer det, før I køber.

Falske negativer mindskes ved et scope, der dækker det vigtige, ved at give testeren den adgang, spørgsmålet kræver, og ved at afsætte tid nok til de mest komplekse dele. Ingen af delene kan fjerne risikoen helt, men de kan gøre den mindre og mere synlig. Overvej også at lade en anden tester se på de vigtigste systemer med mellemrum. Et nyt blik kan ramme andre områder og stille andre spørgsmål til løsningen end dem, der blev stillet sidst.

Det skal I lade være med

At lade rå resultater stå som fund · bed om, at fund er vurderet i jeres miljø.
At afvise et fund uden begrundelse · en påstand om falsk positiv skal kunne efterprøves.
At læse en kort fundliste som fuld dækning · se, hvad der faktisk blev undersøgt.
At spare på testkonti · manglende roller giver blinde vinkler.
At slette forkerte fund uden spor · notér vurderingen og begrundelsen.

Hvad kan og ikke kan konkluderes

En rapport med kontrollerede fund og en klar beskrivelse af dækningen kan give et pålideligt billede af de undersøgte systemer på det givne tidspunkt. Bekræftede fund er et solidt grundlag for at handle.

Ingen rapport kan udelukke falske negativer. At en svaghed ikke står i rapporten, betyder kun, at testen ikke fandt den inden for de aftalte rammer. → En pentest er ingen garanti