Key takeaways
- AI-systemet k alt DALL-E2 ser ut til å ha skapt sitt eget system for skriftlig kommunikasjon.
- Noen eksperter sier at det tilsynelatende språket kan være tull.
- Det er et eksempel på hvor vanskelig det er å tolke resultatene av avanserte AI-systemer.
Det ser ut som kunstig intelligens (AI) har utviklet sitt eget språk, men noen eksperter er skeptiske til påstanden.
OpenAIs tekst-til-bilde AI-system k alt DALL-E2 ser ut til å ha skapt sitt eget system for skriftlig kommunikasjon. Det er et eksempel på hvor vanskelig det er å tolke resultatene av avanserte AI-systemer.
"På grunn av størrelsen og dybden til store modeller, er det veldig vanskelig å forklare modelloppførsel," sa Teresa O'Neill, direktør for løsningsarkitektur for naturlig språkforståelse ved iMerit, til Lifewire i et e-postintervju. "Dette er en av kjerneutfordringene, og i noen tilfeller etiske problemstillinger med stadig kraftigere modeller. Hvis vi ikke kan forklare hvorfor de oppfører seg som de gjør, kan vi forutsi atferden deres eller holde den i tråd med våre normer og forventninger? «
AI Chats
Datavitenskapsstudent Giannis Daras bemerket nylig at DALLE-2-systemet, som lager bilder basert på tekstinndata, ville returnere tullete ord som tekst under visse omstendigheter.
"En kjent begrensning ved DALLE-2 er at den sliter med tekst," skrev han i en artikkel publisert på preprint-serveren Arxiv. "For eksempel, tekstmeldinger som: 'Et bilde av ordet fly' fører ofte til genererte bilder som viser vrøvl tekst."
Men, skrev Daras, det kan være en metode bak det tilsynelatende tullet. "Vi oppdager at denne produserte teksten ikke er tilfeldig, men snarere avslører et skjult vokabular som modellen ser ut til å ha utviklet internt," fortsatte han. "For eksempel, når den mates med denne tullete teksten, produserer modellen ofte fly."
I sin tweet påpekte Daras at da DALLE-2 ble bedt om å tekste en samtale mellom to bønder, viste den at de snakket, men snakkeboblene var fylt med noe som så ut som useriøse ord. Men Daras oppdaget at ordene så ut til å ha sin egen betydning for AI: bøndene snakket om grønnsaker og fugler.
Nicola Davolio, administrerende direktør i teknologiselskapet Hupry, som jobber med AI, forklarte til Lifewire i et e-postintervju at språket er basert på symboler som DALL-E2-systemet har lært å assosiere med visse konsepter. For eksempel kan symbolet for "hund" være relatert til en hunds bilde, mens symbolet for "katt" kan være assosiert med et bilde av en katt. DALL-E2 har laget sitt språk fordi det gjør det i stand til å kommunisere mer effektivt med andre AI-systemer.
Puslespill som det tilsynelatende skjulte vokabularet til DALL-E2 er morsomme å kjempe med, men de fremhever også tyngre spørsmål…
"Språket er sammensatt av symboler som ser ut som egyptiske hieroglyfer og ser ikke ut til å ha noen spesifikk betydning," la han til. "Symbolene er sannsynligvis meningsløse for mennesker, men de gir perfekt mening for AI-systemet siden det har blitt trent på millioner av bilder."
Forskere tror at AI-systemet skapte språket for å hjelpe det bedre å forstå forholdet mellom bilder og ord, sa Davolio.
"De er ikke sikre på hvorfor AI-systemet utviklet språket sitt, men de mistenker at det kan ha noe å gjøre med hvordan det lærte å lage bilder," la Davolio til. "Det er mulig at AI-systemet utviklet språket sitt for å gjøre kommunikasjonen mellom ulike nettverksdeler mer effektiv.«
AI Mysteries
DALL-E2 er ikke det eneste AI-systemet som har utviklet sitt interne språk, påpekte Davolio. I 2017 opprettet Googles AutoML-system en ny form for nevral arkitektur k alt et "barnenettverk" etter å ha blitt overlatt til å bestemme hvordan man best skal fullføre en gitt oppgave. Dette barnenettverket var ikke i stand til å bli tolket av dets menneskelige skapere.
"Disse eksemplene er bare noen få tilfeller der AI-systemer har utviklet måter å gjøre ting på som vi ikke kan forklare," sa Davolio. "Det er et fremvoksende fenomen som er fascinerende og alarmerende på samme måte. Ettersom AI-systemer blir mer komplekse og autonome, kan vi i økende grad finne oss selv i den posisjonen at vi ikke forstår hvordan de fungerer."
O'Neill sa at hun ikke tror DALL-E2 lager sitt eget språk. I stedet sa hun at årsaken til den tilsynelatende språklige oppfinnelsen sannsynligvis er litt mer prosaisk.
"En plausibel forklaring er en tilfeldig sjanse - i en modell som er så stor, kan litt av Murphys lov gjelde: hvis noe rart kan skje, vil det sannsynligvis gjøre det," la O'Neill til. En annen mulighet foreslått av forskningsanalytiker Benjamin Hilton i en Twitter-tråd som diskuterer Daras funn, er at formen på uttrykket "apoploe vesrreaitais" etterligner formen til et latinsk navn for et dyr. Så systemet har skapt en ny rekkefølge av Aves, la O'Neill til.
"Gåter som det tilsynelatende skjulte vokabularet til DALL-E2 er morsomme å kjempe med, men de fremhever også tyngre spørsmål rundt risikoen, skjevheten og etikken i den ofte uutgrunnelige oppførselen til store modeller," sa O'Neill.
