Tag et foto, søg og du skal finde – med fantastiske Google Lens – non-verbal, visuel søgning!

Fotos handler ikke udelukkende om fotokunst. Det er med vores mobiltelefoner og deres kameraer også blevet en hverdagsting at tage fotos og anvende dem til meget praktiske og prosaiske formål – ja, måske endda som optag, brug og smid-væk-billeder.

Vi siger ofte “Google det!” til hinanden, når vi har et spørgsmål. Denne sætning har nu fået udvidet betydning. 

Du kender muligvis til apps, der – ud fra et optaget foto af en plante – forsøger at identificere, hvilken art den tilhører. Forestil dig så, at du kan søge ikke kun på planter men snart sagt, hvad som helst du kan tage et foto af…

Denne artikel beskriver en særlig anvendelse af mobilkameraet sammen med en forbløffende anvendelse af Googles tjenester – Google Lens – Googles linse til den samlede tilgængelige mængde billeder og grafik på Internettet – og dens integration med andre apps fra Google.

I denne artikel gennemgås via videoklip brugen af appsene Google Fotos, Google (søgning), Google Lens (kun til Android) og Google Photoscan. Google Lens er dog også i et vist omfang tilgængelig via appsene Google og Google Fotos til Apples iPhone. 

Du kan gå direkte til artiklens punkter her:

1. 1. Hvorfor Google Lens?
   2. Google Lens: hurtige svar på spørgsmål om verden omkring dig
   3. Seniorer søger, hvad de ser, gennem “nye briller”: Google Lens
   4. Produktsøgning med Google Lens
   5. Hvad tilbyder Google Lens?
   6. Google Lens forklaret og demonstreret
   7. iPhone: Klip et objekt ud af et billede og benyt det ved visuel søgning
   8. Hvordan får jeg Google Lens på min smartphone?
   9. Læs mere om Google Lens på dansk

1. Hvorfor Google Lens?

I 2017 lancerede søgemaskinegiganten Google en ny app, Google Lens, men kun til deres egenproducerede Pixel-smartphones. Siden er faciliteten kommet til alle andre telefoner – både til andre fabrikater af Android-telefoner og til Apples iPhone.

Google Lens går længere end billedsøgningsfaciliteterne i søgemaskinerne Google og Bing (læs om Bings billedsøgning her). Google Lens er et resultat af AI – maskinlæring og ultrahurtig motivbaseret billedsøgning. Android-telefoner kan gøre brug af Google Lens i endnu højere grad end en iPhone, idet faciliteten er integreret i Android-styresystemet i højere grad end i iPhones.

Bemærk: Videoklippene i denne artikel er på engelsk. Du kan du slå simultan taleoversættelse til skriftlige, engelske undertekster til ved at trykke på CC i afspilleren. Via tandhjulet ⚙️ i afspilleren kan du endvidere vælge automatisk simultan oversættelse fra engelske til danske undertekster. Du kan også gøre underteksterne større, ændre farve m.m. Er du ikke så engelskkyndig, kan du dermed alligevel få noget ud af videoklippene. 

 

Se Googles administrerende direktør, Sundar Pichai, selv fortælle om Google Lens ved lanceringen i 2017 på udviklerkonferencen Google I/O i denne 1½-minut korte video herunder. Du ser bl.a., hvordan en plante identificeres og der findes live oplysninger om restauranter, som kameraet rettes mod.

Introduktion af Google Lens ved Googles administrerende direktør Sundar Pichais præsentation ved Google I/O Keynote (Google I/O ’17).

“Hvilken hunderace er dette?” Find ud af det med Google Lens!

2. Google Lens: hurtige svar på spørgsmål i verden omkring dig

Googles vicepræsident, Rajan Patel, der også er ansvarlig for udviklingen af Google Lens, har skrevet dette om Google Lens:

“Der er så meget information tilgængelig online, men mange af de spørgsmål vi har, er om den verden, vi har lige foran os. Dette er grunden til, at vi begyndte at arbejde med Google Lens for at besvare dem lige, når spørgsmålene opstår, og lade dig foretage dig mere med det, du ser.”

I 2017 introduceredes Google Lens i Google Fotos og i Google Assistent. Mange benytter den allerede til at besvare alle mulige spørgsmål – især når de har vanskeligt ved at beskrive det med ord i søgefeltet, såsom ”hvilken hunderace er dette?” eller ”hvilken bygning er denne?”

På Googles udviklerkonference Google I/O i 2018 blev det meddelt, at Google Lens fremover vil være direkte tilgængelig i kamera-appen på understøttede enheder fra LGE, Motorola, Xiaomi, Sony Mobile, HMD/Nokia, Transsion, TCL, OnePlus, BQ, Asus og Googles egne Pixel-telefoner. Der blev også annonceret tre opdateringer, som sætter Google Lens i stand til at besvare flere spørgsmål om ting hurtigere:

• • For det første forbinder smart tekstudvælgelse ordene, du ser, med svar og handlinger, du behøver.  Du kan kopiere og indsætte tekst fra den virkelige verden – såsom madopskrifter, gavekortskoder eller Wi-Fi-adgangskoder – i din telefon. Google Lens hjælper også til at gøre en side med ord forståelig ved at vise dig relevante oplysninger og fotos. Lad os sige, at du er på restaurant og ser navnet på en ret, du ikke kender. Google Lens viser dig et billede for at give dig en bedre idé om den. Dette kræver ikke kun genkendelse af bogstavernes form men også ordenes betydning, og hvilken sammenhæng de indgår i. Dette er her al vores årelange arbejde med sprogforståelse i Google søgning kommer til sin ret.   

• • For det andet er dit spørgsmål ikke, ”hvad er den ting helt nøjagtigt?” men i stedet ”hvad ligner den ting?” Nu, hvor du kan foretage stilsøgning, hvis en beklædnings-genstand eller udstyr til hjemmet fanger dit blik, kan du søge med Google Lens og ikke blot få oplysninger om den særlige ting – såsom anmeldelser – men også se ting, der i stil ligner det, du synes om.

• • For det tredje virker den nu lynhurtigt. Den er i stand til proaktivt at søge oplysninger øjeblikkeligt – og forbinde dem med de ting, du ser. Nu kan du ose i butikker i verden omkring dig, blot ved at rette kameraet mod tingene. Dette er kun muligt med state-of-the-art maskinlæring ved at benytte både intelligens på din enhed og cloud-TPU’er (såkaldte tensorchips i servere i skyen) til at identificere milliarder af ord, sætninger, steder og ting på brøkdelen af et sekund.

• • Ligesom med tale ser Google synet som en fundamental ændring inden for computerberegninger og en årelang udviklingsrejse. Google er begejstret over de fremskridt, der sker med faciliteterne i Google Lens.

3. Seniorer søger, hvad de ser, gennem “nye briller”: Google Lens

Jesper Vangkilde, der er kommunikationschef i Google Danmark, har sammen med Faglige Seniorer i 2022 afholdt en række kurser for medlemmerne i brugen af Googles tjenester og dermed også Google Lens.

 

Han beskriver selv kurserne således:

Teknologi stråler, når den hjælper os med at få tingene gjort i vort daglige liv, og det er lige præcist derfor en gruppe på ca. 100 meget ivrige seniorer samledes i Odense. Ældre, som var mere end 65 – mange helt op til 85 år gamle – besluttede at blive ført up-to-date, hvad angår de seneste teknologiske tricks og redskaber. En dag i marts 2022 var øjenåbneren det ofte oversete potentiale i at søge oplysninger med visuelle redskaber såsom Google Lens.

 

Så nu har seniorerne søgt direkte på deres omgivelser: skannet træer, planter, dyr og bygninger, benyttet Google Oversæt til at få styr på menukortet på tyrkisk, de japanske mundheld og fundet varedeklarationer for varer ved at skanne stregkoder.  

Gruppen deltog i et kursus arrangeret af Faglige Seniorer, som organiserer i alt 300.000 seniorer. De gik første gang i partnerskab med Google tilbage i 2019 for at oplære seniorer i at benytte tale til søgning, og nu var tiden kommet til at benytte levende billeder.

”Ofte når jeg skal gå en tur, falder jeg over en ukendt blomst eller træ. Nu kan jeg blot tage et foto for at finde ud af, hvilken planteart jeg står foran,” bemærkede en af deltagerne, Verner Madsen. ”Jeg behøver ikke at tage planteleksikonnet med. Det er virkeligt smart og en stor hjælp.”

Seniorer i Danmark er generelt ret teknisk kyndige, men med den til stadighed fremadskridende digitalisering – som accelererede endnu mere i de to år med COVID-19 – er nogle seniorer kommet i risiko for ikke at kunne følge med udviklingen, hvilket skaber afstand mellem generationerne. Under den verdensomspændende nedlukning hjalp teknologiske redskaber seniorer med at opretholde kontakten til familie og venner, og smartphonen og dens faciliteter hjalp med at forbedre dagliglivet. Et nøgleelement i dette er at levere nøjagtig og brugbar information, når den behøves. Og til dette formål kan indtastede ord på et skærmtastatur på en smartphone ofte erstattes med visuel søgning blot ved et enkelt tryk på skærmen.

At kunne ”søge efter det, jeg ser” på denne måde var en øjenåbner for mange. Da dagen var slut, erklærede en anden ivrig deltager, Henrik Rasmussen, at han straks ville gå hjem og bruge det, han havde lært.

”Jeg mente ellers, jeg var up-to-date, hvad angår den digitale udvikling, men efter i dag må jeg erkende, at jeg stadig har en masse at lære og finde ud af,” sagde han.

Se også et videoklip optaget af TV2 Bornholm fra kurset, da det blev afholdt på klippeøen (rul lidt ned på siden).

4. Produktsøgning med Google Lens

Herunder finder du en 15-minutter lang video fra april 2022, der demonstrerer produktsøgning med Google Lens inklusiv efterfølgende yderligere præcisering af søgningen.

5. Hvad tilbyder Google Lens?

Der er med tiden udviklet flere og flere måder at bruge Googles kolossale datamængder til fordel for brugernes søgninger:

• • Find alle billeder med en bestemt person. Google Lens indgår i Google Fotos-appen på Android-telefoner og iPhones samt tablets. Her kan du foretage søgning blandt dine egne fotos i Google Fotos – f.eks. kan du finde alle billeder med den samme person – også yngre og ældre portrætter.
  • Læg et visitkort ind som en ny kontakt. Du kan skanne et visitkort, så du uden videre kan lægge dets informationer ind i Kontakter-appen på din telefon. Eller gøre dem klikbare, så du kan ringe direkte op til personen ud fra billedet af visitkortet blot ved at trykke på en knap på skærmen – eller besøge personens hjemmeside eller profiler på sociale medier. Du kan endda få oplæst tekst fra billedet og få det oversat til et andet sprog (og også oplæst på det sprog). Det er fantastisk, hvis du skal oversætte skilte, varebeskrivelser i butikker, menukort m.m. på rejsen i udlandet.

  • 

    Kan du tage et foto af det, kan du også finde det. Du kan søge på hele Internettet via Google Lens-funktionen i Google-appen (tryk på kamerasymbolet i søgefeltet). Her kan du søge ud fra egne fotos efter en genstand, et produkt, en plante, et dyr, en fugl, et bygningsværk, et landskab eller mere eller mindre kendte personer. Hvis du ser et produkt (en købt vare) hos en ven, i en husstandsomdelt reklame eller i en fysisk (eller online) butik, kan du tage et foto af den og søge efter den på nettet med Google Lens – og måske endda finde varen billigere eller finde anmeldelser af den.

  • Få oplysninger om, hvad du ser på tv. Du kan benytte Google Lens på billeder, du optager lige nu fra PC-skærmen, smartphone-skærmen eller din tv-skærm! Du skal dog ofte skære fotoet til først. Så kan du straks finde oplysninger om ting, produkter, planter, dyr, bygninger, personer m.m.
  • Tilslut dig Wi-Fi. Du kan endda tage et billede af stregkoden på din Wi-Fi-router og så få telefonen til automatisk at tilslutte sig Wi-Fi-netværket.
  • Hvornår holder restauranten åben? Når du er ude i byen i Danmark eller i udlandet, kan du med kameraet rette Google Lens mod en restaurant, café, klub eller bars facade og finde anmeldelser, en adresse, åbningstider og måske endda menukortet frem på telefonen.
  • Hvad handler bogen om? Ser du en bog i et butiksvindue eller i en vens bogreol, kan du bruge Google Lens til at finde en synopsis af bogen, anmeldelser af den, og også få oplyst, hvor den kan købes – om nødvendigt antikvarisk.
  • Hvilket maleri er det? Er du på museum, kan du benytte Google Lens til at finde oplysninger om et maleri på væggen – udelukkende ud fra det foto, du tager af det – og du skal ikke indtaste noget tekst.
  • Opbyg billedsamling på din vej sammen med oplysninger om stederne. Med denne app opnår du ikke kun at kunne finde oplysninger, om det du ser på din vej, men også at få opbygget en billedsamling fra de steder, du har besøgt i samme omgang – for du tager et foto først, og det ligger fremover i din Fotos-app. Du kan altid finde oplysningerne frem igen om fotoet ved at gentage Google Lens-søgningen på billedet, når du er vendt hjem – det er ellers hyppigt et problem for fotografer på rejse, at de ikke kan huske det fremmedklingende navn på stedet.
  • Skriv begivenhed i kalenderen. Fotografér et opslag om en kommende begivenhed på en plakat, og lad Google Lens analysere det – så kan du lægge det skannede navn og tidspunkt for begivenheden direkte ind i din kalender på telefonen, som du måske også har knyttet sammen med din kalender på PC’en, Outlook- eller Google-kalender.

  • 

    Lektiehjælp til matematik. Skoleelever og studerende kan benytte Google Lens til at løse deres matematikopgaver analytisk ved hjælp af funktioner fra appen Socratic, der er integreret i tjenesten. Tag blot et foto af ligningen, der skal løses, og Voila! Så bliver du tilbudt at se, hvordan den løses – trin for trin. Først fik vi lommeregneren, der kunne regne med decimaltal. Nu har vi den analytiske lommeregner i form af smartphonen. Det har aldrig været lettere at være skole- eller gymnasieelev! Må man tage smartphonen med til skriftlig matematikeksamen? Aldrig har det været lettere at løse sine matematikopgaver derhjemme! Og det virker ikke kun med ligninger – ethvert regneudtryk, som f.eks. 1+2+3+4+5 kan den regne ud uden videre! Nu behøver skolebørn på 1., 2. og 3. klassetrin endda ikke engang at lægge tal sammen selv! Tag blot et foto af opgaverne givet af læreren, så vises løsningen, og hvordan du kan nå frem til den. Lettere kan det næsten ikke blive. I skolen kan lærerne i timerne tage telefonerne fra børnene, men forældrene skal måske til det samme, når det er lektietid…

  • Søg efter et foto fundet på nettet. Når du på en PC bruger internetbrowseren Google Chrome, kan du højreklikke på hvilket som helst foto, og så åbnes en rullemenu, hvor du skal vælge menupunktet Søg efter billedet med Google Lens. Derefter åbnes et sidepanel, hvor du kan vælge Find billedkilde. Når du klikker med musen her, får du adgang til websider, der bruger det samme billede. 
  • Altså: Ser du en fysisk genstand på din vej, på et billede, magasin, avis eller plakat, kan Google Lens ofte finde oplysninger om den.

6. Google Lens forklaret og demonstreret

Se herunder en række engelsksprogede videoer, der demonstrerer, hvad appen er i stand til.

Og den lange udgave:

7. iPhone: Klip et objekt ud af et billede og benyt det ved visuel søgning

Hvis du har en iPhone 8 eller senere, vil du fra og med iOS 16 være i stand til at “klippe” et objekt – f.eks. en vare, et portræt eller noget andet – ud af et foto med en rodet eller kompliceret baggrund. Fotograferer du f.eks. en bog, der ligger på en bord sammen med mange andre ting, kan du markere det ved tryk med en finger – og så lægge udsnittet over i Fotos-appen som et nyt foto eller lægge det i Udklipsholderen og indsætte det et andet sted. 

Benyttes denne facilitet i sammenhæng med Google Lens, gør du det lettere for den visuelle søgning at finde lige netop din ting.  Vær dog opmærksom på, at du i Google Lens allerede har fine mulighed for at vælge et objekt eller en person på et billede. 

Læs mere om den nemme objektisoleringsfacilitet på iPhone her. 

8. Hvordan får jeg Google Lens på min smartphone?

Google Lens er tilgængelig i indtil flere apps til både smartphones og tablets.

Få Google Lens på iPhone (iOS)

iPhones og iPads har et par muligheder for at benytte Google Lens-faciliteten:

• • På iPhone er Google Lens tilgængelig via den app, der hedder Google (Googles søge-app), som allerede findes på din telefon. Åbn den, tryk på kamerasymbolet i søgefeltet, og du er allerede i fuld gang. 
  • Men du kan også downloade appen Google Fotos. Her kan du give tilladelse til at dine fotos i Apples Fotos-app bliver uploadet til Google Fotos i skytjenesten Google One. I appen kan du søge blandt billederne efter en bestemt person eller en anden genstand. 

Få Google Lens på Android-enheder

På Android-telefoner og -tablets har du flere muligheder:

• • Du kan downloade appen Google Lens og få en række faciliteter ad den vej.
  • Men Google Lens er også tilgængelig via Google Fotos, som allerede findes på telefonen. Fra denne app kan du f.eks. søge efter alle billeder, hvor en bestemt person optræder. 
  • Endvidere kan Google Lens benyttes fra søgeappen Google, som allerede findes på telefonen. Også her kan du klikke på kamerasymbolet ud for søgefeltet for at begynde søgningen. 

God fornøjelse!

Med venlig hilsen

Lars Laursen, næstformand i Seniorfoto- og Videoklub.

9. Læs mere om Google Lens på dansk

Der findes meget få videoer på dansk om Google Lens, men derimod en række artikler på nettet:

1. 1. TV2 Bornholm: Faglige Seniorer lærer nye IT-tricks – med dansk video!
   2. Google: Googles egen webside om Google Lens – på dansk!
   3. Google: Googles egen blog om Google Lens med en række artikler  – engelsksproget
   4. Wikipedia: Hvad er Google Lens? – engelsksproget
   5. Bloggen om IT og undervisning: Google Lens – Genial læringsapp
   6. Komputer: Google Lens – sådan bruger du den smarte funktion
   7. ToAdmin: Sådan bruger du Google Lens på iPhone
   8. MereMobil.dk: Google Lens vil hjælpe med lektierne
   9. Cyberhus.dk: Hvis nogen har delt mine private fotos på nettet, kan jeg se finde dem og få dem fjernet?
   10. Digital FOTO: Sådan tjekker du let om andre bruger dine fotos online
   11. Digital FOTO: Google Lens – sådan bruger du den smarte funktion