Impala for Mobile
Na een kleine 3 maanden radiostilte op deze blog bij deze de reden waarom!
Ik ben druk geweest. Naast fotografie (en LARP, en Balfolk, en ...) doe ik, uiteraard, nog! meer. En dit keer heeft dit een mooi raakvlak met fotografie, dus ga ik er hier iets over vertellen!
Let's start with a problem. Elke beetje smartphone heeft tegenwoordig ook een prima camera aan boord. En met deze prima camera vallen zat mooie plaatjes te maken. Ik doe dit zelf ook regelmatig. Vaak zelfs! Alleen... wat dan? De map op m'n telefoon wordt voller en voller, en het overzicht van wat er precies in zit ben ik allang kwijt.
Wat heeft dat met mij te maken?
Sinds begin 2014 ben ik werkzaam bij Euvison Technologies - een spinoff company van de Universiteit van Amsterdam waar ik ook jarenlang voor heb gewerkt. Bij Euvision ben ik volenthousiast aan de slag gegaan met het helpen ontwikkelen van een app voor het automatisch herkennen en sorteren van foto's op je telefoon met behulp van zogenaamde Visual Concept Detection.
Visual Concept Detection?
Visual Concept Detection - oftewel: beeldherkenning. Specifieker: een computer die een foto (of video) beschrijft aan de hand van een serie van te voren gedefinieerde concepten zoals "Food", "Indoor", "Person" of "Boat". Automatisch. En dat is nog best pittig.
Heel kort door de bocht uitgelegd werkt dit als volgt. Je geeft een foto aan een computer. Deze "bekijkt" de foto en rekent een stapel features uit: karakteristieken die iets beschrijven over de foto. Dit kan van alles zijn. Denk dan bijvoorbeeld aan: "Zijn er gezichten in beeld?", "Bestaat deze foto vooral uit horizontale lijnen?" of "Hoe donker is deze foto?". Deze features worden vervolgens slim vergeleken met een grote databank met voorbeeldfoto's waarvan we weten wat voor concepten er in zitten, en uit dit alles komt vervolgens een lijst concepten die dan mogelijkerwijs in de kersvers aangeleverde foto zouden kunnen zitten.
Dit alles vereist echter best wel een bende rekenkracht. Het bovenstaande kon dan ook tot voor kort ook alleen maar op zware computers of liever zelfs complete clusters van machines die dan stonden te stampen om dit te doen.
En nu kan dit op 1 telefoon.
Let's call it progress!
En belangrijker: we now have an app for that!
Impala - de app voor automatische concept detectie op je telefoon
De app dus! Afgelopen maand gedemonstreerd op het Mobile World Congress in Barcelona (video review hier) en sinds vandaag ook ter download beschikbaar in de Google Play store. En daar ben ik best wel een beetje trots op!
Dus bij deze: it's there. It's free. Mocht je nieuwsgierig zijn, go download Impala @ the play store!
Wat kan Impala?
-
Foto's sorteren. Automagisch! Impala zoekt alle foto's op je telefoon of tablet, en sorteert deze automatisch in mapjes. En dat gaat op een beetje telefoon nog best rap ook, met meerdere foto's per seconde.
-
Foto's bekijken. Want in mapjes sorteren is leuk, maar daar heb je er niet veel aan als je er niet vervolgens doorheen kan bladeren om je eigen foto's te bekijken. Ben je zelf ook zo'n chaoot die honderden foto's maakt met de ingebouwde camera van je telefoon maar ze nooit uitzoekt? Dat hoeft nu niet meer, want Impala doet het voor je.
- Last but not least: foto's nemen! En Impala kijkt gelijk even mee om foto's van #tags te voorzien. In real-time. En dat is eigenlijk best bijzonder.
Wat kan Impala (nog) niet?
Impala is vooralsnog vooral een showcase van de technologie er achter, en daarom ook (nog) geen af product. Het korte antwoord is dan ook: genoeg! Als voorbeeld: de #tags van genomen foto's staan wel leuk in beeld, maar worden verder nog niet gebruikt. Een Share knop zou best een goed plan zijn! Ook zijn de automatische filters die we nu hebben nog lang niet af. Ze kunnen nog best wel wat polishing gebruiken, en dat valt dan wel weer in mijn straatje als fotograaf. Wat zouden goede filters zijn voor foto's? En wanneer moet je deze dan voorschotelen aan de gebruiker? En kunnen we deze app uiteindelijk zo gek krijgen om slimme beslissingen te nemen bij elke foto op basis van de inhoud?
More to come!
Meer weten over de exacte technieken die hier in zitten? Check dan hier of lees er wat relevante wetenschappelijke papers over. En als laatste, mocht je de app willen testen: bugreports en suggesties zijn bijzonder welkom!
Comments
Ork is een fotograaf uit Utrecht. Hij vond zijn passie in fotografie van mensen, zowel tijdens evenementen of juist in de studio. Ork staat bekend om zijn gedreven aanpak, waarbij hij open staat voor innovatieve ideeën die zowel het model als de fotograaf verder brengen in het maken van de perfecte foto.
