När covidpandemin stängde ner stora delar av världen började många vårdcentraler och läkarmottagningar hålla de flesta konsultationer via telefon eller digitalt. Det har fått allvarliga konsekvenser på grund av felbedömningar i Googles system för att hitta barnporr, rapporterar New York Times.

När Mark (vars efternamn inte har publicerats) upptäckte en svullnad i underlivet på sitt barn ringde han vårdcentralen, och sjuksköterskan han talade med uppmanade honom att skicka bilder på svullnaden. Han tog en bild med sin Android-mobil, som han skickade både till mottagningen och sin fru. Den säkerhetskopierades även automatiskt till Google Foto.

Ett par dagar senare fick han en notis från Google att kontot hade stängts av för ett ”allvarligt brott mot användaravtalet”.

Det visade sig bero på att Googles automatiska system för att upptäcka barnporr, som förutom att jämföra hashkoder med en databas över kända barnporrbilder även använder en ai för att hitta potentiella nya bilder. Uppenbarligen hade ai:n fått för sig att den intima bilden var barnporr, men Mark trodde att en överklagan så att en människa fick se bilden skulle räcka för att rentvå honom. Så blev det inte – Google nekade överklagan.

En tid senare fick han ett brev från polisen i hemstaden San Francisco, som meddelade att han hade utretts för barnpornografibrott. Utredaren hade dock kommit fram till att det handlade om en bild tagen i medicinskt syfte och avskrev misstankarna.

Mark skickade in en ny överklagan till Google och bifogade brevet från polisen som bevis, men återigen fick han avslag. En talesperson för Google har till och med sagt att företaget står bakom sitt beslut.

Mer läsning: Många missförstånd om Apples barnskyddsfunktioner – men legitima farhågor kvarstår