Key takeaways
- Navi bruker SharePlay, og Apples innebygde tale-til-tekst, for å tilby undertekster og oversettelser i FaceTime.
- Det er langt fra perfekt, men allerede godt nok.
- Undertekster er gode for tilgjengelighet.
Navi er en app som legger til direkte undertekster og sanntidsoversettelser til FaceTime-samtalene dine.
Appen bruker SharePlay og innebygd talegjenkjenning for å legge til undertekster og oversettelser på 20 språk til FaceTime-samtalene dine. Det er en utrolig bruk av SharePlay, som de fleste av oss ser på som en gimmicky måte å se synkroniserte filmer med folk andre steder. Du trenger kanskje ikke avfyre oversetteren ennå, men en app som gjør dette bra kan være sinnsykt nyttig.
"Jeg får ikke lyden fra FaceTime-samtalen," skriver Navi-utvikler Jordi Bruin på Twitter, "men bruker SharePlay for å dele den blant deltakerne i samtalen."
SharePlay
SharePlay er en ny funksjon i iOS 15 og macOS 12.1 som lar deg dele og synkronisere ting i FaceTime-samtaler. Med eksempelet for filmvisning ovenfor kan enhver deltaker pause eller spille av filmen, for eksempel mens dere alle chatter i FaceTime-samtalen. FaceTime-videoen forblir åpen i et lite, flytende bilde-i-bilde-panel, og hver deltaker kjører appen lok alt på enheten sin. SharePlays triks er å synkronisere hva som skjer i disse lokale appene, slik at alle deler opplevelsen, enten det er en film, en Fitness+-trening eller et regneark.
Navi bruker den samme teknologien, bare appen for samtale er ikke en film – det er en sanntidsoversettelsesmotor. For å bruke den starter du appen mens du er i en FaceTime-samtale og trykker på 'Slå på undertekster'-knappen. Da kan også andre deltakere bli med på handlingen og se direkte undertekster for gjeldende foredragsholder. Hvis noen monologer, vokser snakkeboblen deres og fester seg litt lenger.
For døve kan dette bety forskjellen mellom å ringe folk eller ikke. Og for alle betyr det at du kan ha nyttige samtaler mellom folk som ikke deler et språk.
Universal Text
Internett er bygget på tekst, og det er flott. Den er liten og enkel å lage, lese og oversette. Det er også enkelt å gjøre om til syntetisert tale. Resultatet er at hvem som helst fra hvor som helst kan delta i enhver samtale. Språk er ingen barriere, og det er heller ikke døvhet eller noen form for blindhet – så lenge du bruker en enhet med gode tilgjengelighetsverktøy for nedsatt syn eller hørsel.
Men det t alte ordet er mye vanskeligere å behandle. Tale-til-tekst-diktering er imponerende, men det er først relativt nylig at generell talegjenkjenning har blitt god nok for generell bruk – Apples Translate-app er et godt eksempel. Introdusert i iOS 15, tilbyr den sanntids lydoversettelser. Hvis vi fortsatt dro på utenlandsferier, ville det vært perfekt.
Nå bruker vi video mer og mer til jobb og for å holde kontakten med venner og familie. Uansett hvordan vi jobber i fremtiden, er barrieren for videosamtaler blitt grundig knust. Det er nå et vanlig verktøy, men det mangler mye av finessen til skriftlige kommunikasjonsverktøy.
Noe som Navi, som tilbyr sanntidsteksting og oversettelse, kan være betydelig. Tilgjengelighet er ett aspekt, men evnen til å snakke med folk hvis språk du ikke snakker åpner opp for internasjonal virksomhet i en oppsiktsvekkende grad.
I Action
Jeg testet Navi med apputvikler, forfatter og høreapparatbruker Graham Bower. Det er ganske bra, men ennå ikke klart for kritiske oppgaver. Noen av transkripsjonene var komisk dårlige og for vulgære til å fortelle. Etter hvert som samtalen vår gikk, ble den imidlertid mye bedre til å gjenkjenne talen hans nøyaktig. Det er fornuftig fordi iOS-dikteringsmotoren tilpasser seg stemmen din over tid.
Oversettelsen fungerte også, selv om kvaliteten på oversettelsene avhenger av nøyaktigheten til inndataene.
Det er enkelt å projisere denne typen teknologi inn i fremtidige Apple-briller eller hvilket som helst ryktet AR/VR-produkt jobber med denne uken.
"Jeg kan se dette fungere i AR-briller," sa Bower under samtalen vår. "Noen mennesker, selv med normal hørsel, foretrekker undertekster i filmer. Dette ville vært som undertekster i det virkelige liv."
Mens en imponerende teknologisk demo er Navi ikke der ennå. For pålitelig forretningsbruk må Apples første talegjenkjenning bli mye mer nøyaktig. Men hastighetsmessig er det greit, og oversettelsene er like gode som alle andre.
Men vi er på vei nå, og denne typen ting vil bare bli bedre.
