Hoe cool zou het zijn om een soort Shazam te hebben voor objecten? En dan om precies te zijn: hoe die objecten heten in een andere taal. Je scant iets met je telefoon en vervolgens hoor je dat dat een Neko is (een kat, in het Japans). Wil je het liever in het Spaans weten, dan selecteer je die taal en roept je telefoon: gato! Die briljante taal-app is er nog niet, maar er wordt hard aan gewerkt door Frances Ng, een engineer.
ARKit en CoreMl
Op Prosthetic Knowledge is te lezen (en te zien!) hoe Frances haar iPhone verschillende objecten laat scannen, waarbij hij herkent dat het een lamp is of een laptop. En hij verbindt daar dus meteen het woord aan vast in een taal naar keuze. Frances maakt dit mogelijk door de developer kit van Apple die de laatste maanden booming business is. Het is een augmented reality app die is gemaakt op ARKit en CoreML met gebruik van Inception V3. Uiteraard leer je door deze mogelijkheid niet direct grammatica, maar hoe handig is het om op vakantie gewoon even naar iets te wijzen en meteen het woord te weten?
De app die Frances maakt kent momenteel ongeveer 1.000 objecten, en ze wil het echt bij een demo houden. Jammer, want we zien al zo vaak fantastische techdemo’s die het nooit tot een volledige app-release halen. Het idee dat dit kan, is in ieder geval enthousiasmerend en klinkt een stuk interessanter dan die arme jongen die in de KPN-reclame loopt te hannesen met zijn vertaalapp. Sowieso is het de moeite om in de gaten te houden wat er allemaal met de hashtag #arkit wordt gezet, want er zijn veel meer ontwikkelaars zoals Frances die fantastische plannen hebben met de technologie die zo vrij ter beschikking wordt gesteld.
Wil je meer weten over Frances? Logisch, die vrouw heeft veel in haar mars: volg haar op Twitter @franxyzxyz.
