Key takeaways
- ToxMod, av det Boston-baserte selskapet Modulate, hevder å oppdage og reagere mot forstyrrende tale automatisk, i sanntid.
- I stedet for å være begrenset av enkelt språk, bruker ToxMod maskinlæring for å finne ut immaterielle ting som følelser, volum og rytme.
- ToxMod er for øyeblikket designet for bruk med chatterom i spillet, men det er ingen grunn til at det ikke kunne komme til Twitch-kanalen din.
Et Boston-basert selskap bruker maskinlæring for å lage det det fakturerer som verdens første stemmebaserte modereringstjeneste, som kan fortelle forskjellen mellom hva som blir sagt og hva det betyr.
ToxMod er et forsøk på å løse paradokset med å moderere enhver åpen plass på Internett; det er ikke nok mennesker til å holde tritt med etterspørselen, men algoritmer, filtre og et rapportsystem forstår ikke nyanser.
Med ToxMods database kan den spore faktorer i spillernes tale som følelser og volum, noe som hjelper den å skille mellom en kortvarig forfall og et atferdsmønster. Det ble nylig annonsert som et tillegg til 7v7 amerikansk fotballspill Gridiron, som for tiden er i Steam Early Access.
"Alle vet at trakassering, hatefulle ytringer og toksisitet i talechat og spill er et enormt problem. Det er vanlig å forstå," sa Carter Huffman, teknologisjef og medgründer av Modulate, i et Google-møte med Lifewire. "Vi kunne ta funksjonene som vi hentet ut gjennom denne variasjonen av maskinlæringssystemer og slå det sammen til et system som tok hensyn til all denne ekspertkunnskapen som vi lærte fra samfunnet.«
Alle hils våre nye robotmoderatorer
Modulate har jobbet med ToxMod siden i fjor høst, og har innlemmet det som en av selskapets tre kjernetjenester. Den tilbyr også VoiceWear, en stemmeforkledning drevet av maskinlæring, og VoiceVibe, en aggregatortjeneste som lar brukere finne ut hva folk i fellesskapene deres diskuterer.
Når ToxMod kjører i en chat, kan den programmeres via Modulates administrasjonspanel til å utføre en rekke automatiske handlinger, som å utstede advarsler, dempe spillere eller justere volumet individuelt.
Den bruker et triagesystem der den lokale forekomsten er den første som tar affære, før den sjekker med Modulates servere for bekreftelse. Så eskalerer det til slutt til et punkt hvor det kan kreve menneskelig inngripen. Ved å kjøre gjennom hver sjekk etter tur, som Modulate kaller "triage-porter", er ideen at ToxMod gir et lite team av moderatorer verktøyene som effektivt kan moderere et mye større fellesskap.
"Den triste sannheten er at alle har hatt den opplevelsen, med å prøve å bruke talechat på hvilken som helst plattform du var på, og oppdage at, gutt, det var en dårlig idé," sa Modulate-sjef Mike Pappas i en videosamtale med Lifewire. "Å kunne gå inn og si: 'Dette er ikke det ville vesten. Det er regler.' Jeg tror det er veldig viktig."
Breaking the System
Naturligvis er det andre eller tredje spørsmålet å stille om ToxMod hvordan man bryter det.
Med mange automatiske modereringssystemer, for eksempel algoritmene som styrer Twitter, er det enkelt å spille dem mot folk du ikke liker. Bare masserapporter målet ditt med noen sokkedukkekontoer, så vil de sikkert spise et forbud.
"På et basisnivå trenger ikke ToxMod å stole på de ekstra spillerrapportene," sa Pappas. "Det er fortsatt i stand til å produsere solide estimater av hvilke lovbrudd vi må ta hensyn til. Du trenger ikke å bekymre deg for at spillere prøver å spille systemet, siden det egentlig ikke er noe å spille.
Alle vet at trakassering, hatytringer og toksisitet i talechat og spill er et enormt problem.
"Alt du har kontroll over som spiller er din egen lyd," fortsatte Pappas. «Det verste du kan gjøre er å være mindre dårlig av en person, så vi ikke flagger deg som en dårlig skuespiller, som jeg vil si er noe nær oppdragssuksess.»
Generelt er ideen bak ToxMod et aktivt gjenvinningsforsøk. Mange spillere har på dette tidspunktet opplevd en eller annen form for trakassering fra tilfeldige fremmede i åpne talekanaler, alt fra tilfeldige fornærmelser til aktive trusler. Som et resultat har spillere en tendens til å vike unna talechat generelt, og foretrekker å gi opp bekvemmeligheten i bytte mot sin egen sinnsro.
"Det vi forventer å se [er dårlige skuespillere som bruker] mye mindre tid på talechat før de blir funnet og fjernet," sa Pappas."Det har mer enn bare en lineær innvirkning. Når alle ser stemmechat som et tryggere sted, er flere gode skuespillere villige til å komme tilbake til stemmechat og prøve det. Jeg tror alt kan gå i en positiv retning."
