Key takeaways
- Zoom sa angivelig at den ville bruke AI for å evaluere en brukers sentiment eller engasjementsnivå.
- Menneskerettighetsgrupper ber Zoom om å revurdere planen sin på grunn av hensyn til personvern og datasikkerhet.
- Noen selskaper bruker også programvare for følelsesregistrering under intervjuer for å vurdere om brukeren er oppmerksom.
Den økende bruken av kunstig intelligens (AI) for å overvåke menneskelige følelser vekker bekymringer for personvernet.
Menneskerettighetsorganisasjoner ber Zoom om å bremse planen sin om å introdusere emosjonsanalyserende kunstig intelligens i videokonferanseprogramvaren. Selskapet har angivelig sagt at det vil bruke AI for å evaluere en brukers sentiment eller engasjementsnivå.
"Eksperter innrømmer at følelsesanalyse ikke fungerer," skrev konsortiet av menneskerettighetsgrupper, inkludert ACLU, i et brev til Zoom. "Ansiktsuttrykk er ofte koblet fra følelsene under, og forskning har funnet at ikke engang mennesker kan lese eller måle andres følelser nøyaktig noen ganger. Å utvikle dette verktøyet gir troverdighet til pseudovitenskap og setter ryktet ditt på spill."
Zoom svarte ikke umiddelbart på en forespørsel fra Lifewire om kommentar.
Hold øye med følelsene dine
I henhold til protokollartikkelen ville Zoom-overvåkingssystemet k alt Q for Sales sjekke brukernes taletidsforhold, responstidsforsinkelse og hyppige høyttalerskift for å spore hvor engasjert personen er. Zoom vil bruke disse dataene til å tildele poengsummer mellom null og 100, med høyere poengsum som indikerer høyere engasjement eller sentiment.
Menneskerettighetsgruppene hevder at programvaren kan diskriminere mennesker med funksjonshemminger eller visse etnisiteter ved å anta at alle bruker samme ansiktsuttrykk, stemmemønster og kroppsspråk for å kommunisere. Gruppene foreslår også at programvaren kan utgjøre en datasikkerhetsrisiko.
"Høsting av dyptgående personopplysninger kan gjøre enhver enhet som bruker denne teknologien til et mål for snoking av offentlige myndigheter og ondsinnede hackere," ifølge brevet.
Julia Stoyanovich, professor i informatikk og ingeniørvitenskap ved New York University, fort alte Lifewire i et e-postintervju at hun er skeptisk til påstandene bak følelsesdeteksjon.
"Jeg ser ikke hvordan slik teknologi kan arbeide - folks følelsesmessige uttrykk er veldig individuelt, veldig kulturelt avhengig og veldig kontekstspesifikk," sa Stoyanovich."Men, kanskje enda viktigere, jeg ser ikke hvorfor vi vil at disse verktøyene skal fungere. Med andre ord, vi ville vært i enda mer problemer hvis de fungerte bra. Men kanskje før vi tenker på risikoen, burde vi spør - hva er de potensielle fordelene med slik teknologi?"
Zoom er ikke det eneste selskapet som bruker programvare for følelsesregistrering. Theo Wills, seniordirektør for personvern i Kuma LLC, et konsulentselskap for personvern og sikkerhet, fort alte Lifewire via e-post at programvare for å oppdage følelser brukes under intervjuer for å vurdere om brukeren er oppmerksom. Det blir også testet i transportbransjen for å overvåke om sjåfører virker døsige, på videoplattformer for å måle interesse og skreddersy anbefalinger, og i opplæringsprogrammer for å finne ut om en bestemt undervisningsmetode er engasjerende.
Wills hevdet at kontroversen rundt programvare for følelsesovervåking er mer et spørsmål om dataetikk enn personvern. Hun sa at det handler om at systemet tar beslutninger i den virkelige verden basert på anelser.
"Med denne teknologien antar du nå årsaken til at jeg har et spesielt uttrykk i ansiktet mitt, men drivkraften bak et uttrykk varierer mye på grunn av ting som sosial eller kulturell oppdragelse, familieatferd, tidligere erfaringer eller nervøsitet i øyeblikket," la Wills til. "Å basere algoritmen på en antagelse er iboende feil og potensielt diskriminerende. Mange populasjoner er ikke representert i populasjonen algoritmene er basert på, og passende representasjon må prioriteres før dette bør brukes."
Praktiske vurderinger
Problemene som oppstår med programvare for følelsessporing kan være praktiske så vel som teoretiske. Matt Heisie, medgründer av Ferret.ai, en AI-drevet app som gir relasjonsintelligens, fort alte Lifewire i en e-post at brukere må spørre hvor analysen av ansikter gjøres og hvilke data som lagres. Gjøres studien på samtaleopptak, behandlet i skyen eller på den lokale enheten?
Også, spurte Heisie, ettersom algoritmen lærer, hvilke data den samler inn om en persons ansikt eller bevegelser som potensielt kan løsnes fra algoritmen og brukes til å gjenskape noens biometri? Lagrer selskapet øyeblikksbilder for å verifisere eller validere algoritmens læring, og blir brukeren varslet om disse nye avledede dataene eller lagrede bildene som potensielt samles inn fra samtalene deres?
"Dette er alle problemer mange selskaper har løst, men det er også selskaper som har blitt rystet av skandale når det viser seg at de ikke har gjort dette riktig," sa Heisie. "Facebook er det viktigste tilfellet av et selskap som rullet tilbake sin ansiktsgjenkjenningsplattform på grunn av bekymringer om brukernes personvern. Morselskapet Meta trekker nå AR-funksjoner fra Instagram i noen jurisdiksjoner som Illinois og Texas over personvernlover rundt biometriske data."
