Op Facebook worden dagelijks talloze beelden gedeeld. Leuk voor ons, maar iemand met beperkt zicht kan die beelden natuurlijk niet zien en de teksten er op niet lezen. Daarom worden er teksten toegevoegd aan de foto’s, zodat deze mensen wel begrijpen wat er staat. Ook wordt zo automatisch gecontroleerd dat er geen haatberichten in staan. Die teksten worden vanaf nu toegevoegd door Rosetta, een groot machine learning-systeem.
Een groot probleem met veel systemen is dat ze maar een beperkt aantal beelden per dag kunnen bewerken. Maar Rosetta kan tekst uit ruim een miljard foto’s en video’s halen per dag, aldus Facebook in een blogbericht. Dit doet het in real-time en in allerlei verschillende talen.
Werking
Het systeem begint hiervoor met het detecteren van rechthoekige gebieden in beelden, waar mogelijk tekst in staat. Daarna wordt er een neuraal netwerk gebruikt om te herkennen wat er in dat gebied geschreven staat. Hierbij gaat het niet alleen om Engelse woorden, maar ook woorden in andere talen en in een niet-Latijns alfabet. De tekst wordt vervolgens opgeschreven door het systeem.
Rosetta wordt al in diverse teams gebruikt door het sociale medium en op Instagram. Aan de hand daarvan wordt meer content verwerkt en worden de platformen vrijgehouden van haatberichten en andere ongewenste content. De bedoeling is dat Rosetta in de toekomst meer talen kan verwerken en nog beter wordt in het herkennen van tekst in video’s.