Un nouvel outil pour une seule image vaut mille - et plus - images

Les chercheurs exploitent de grandes données visuelles en créant une image moyenne de milliers de photos. (Vidéo en juin-Yan Zhu, Yong Jae Lee et Alexei Efros, UC Berkeley)

Nouveau logiciel développé par des informaticiens UC Berkeley cherche à apprivoiser la grande quantité de données visuelles dans le monde en créant une seule photo qui peut représenter amas massifs d'images. Cet outil peut donner aux utilisateurs l'essentiel photographique d'un enfant sur les genoux du Père Noël, housecats, ou mariées et les mariés à leur mariage. Il fonctionne en générant une image qui littéralement moyennes les fonctionnalités clés de les autres photos.

Les utilisateurs peuvent également donner plus de poids aux caractéristiques spécifiques pour créer les sous-catégories et trier les résultats d'image rapidement. De cette façon, les papillons à ailes bleues ou chats tabby orange, pourraient atteindre le sommet de collections de photos.

La recherche, menée par Alexei Efros, professeur agrégé de génie électrique et informatique, sera présenté aujourd'hui (jeudi 14 août) à la Conférence internationale et exposition sur l'informatique graphique et des techniques interactives, ou SIGGRAPH , à Vancouver, au Canada.

Les auteurs ont noté que, depuis la photographie a été inventée, il ya eu selon les estimations, 3,5 trillions de les photos prises, y compris 10 pour cent dans la dernière année. Facebook rapporte 6 milliards téléchargements de photos par mois sur son site, et YouTube reçoit 72 heures de vidéo téléchargées chaque minute.

"Données visuelle est parmi les plus grands de Big Data", a déclaré Efros, qui est également membre de l'UC Berkeley Visual Computing Lab . «Nous avons cette énorme collection d'images sur le Web, mais une grande partie demeurent invisibles pour les humains, car il est si vaste. Les gens ont appelé la matière noire de l'Internet. Nous voulions trouver un moyen de visualiser rapidement ces données en effectuant systématiquement «moyenne» des images ".

Les utilisateurs peuvent utiliser l'outil pour se concentrer sur les images où le président Obama apparaît sur l'épaule de Stephen Colbert, puis observer typique posture de Colbert parmi ces résultats. (Photos par Jun-Yan Zhu, Yong Jae Lee et Alexei Efros, UC Berkeley)

Efros travaillé avec Jun-Yan Zhu, UC Berkeley informatique étudiant diplômé et auteur principal du document, et Yong Jae Lee, ancien chercheur post-doctoral UC Berkeley, pour développer le système, qu'ils ont surnommé AverageExplorer.

Les chercheurs ont fourni des exemples d'applications potentielles de ce système, tels que les achats en ligne, où un consommateur peut vouloir maison rapidement dans le coin talons de deux pouces dans la nuance parfaite de rouge. Ou peut-être les analystes des médias aimeraient voir typique posture du corps de Stephen Colbert lorsque le visage du président Barack Obama apparaît dans le graphique sur son épaule.

Lee, maintenant professeur adjoint en sciences informatiques à l'UC Davis, a déclaré que le système pourrait également être utilisé pour aider à améliorer la capacité des systèmes de vision par ordinateur de distinguer les principales caractéristiques d'une image, comme les pneus sur une voiture ou les yeux sur un visage . Lorsque les utilisateurs marquent ces éléments sur une image moyenne, l'ensemble de la collection d'images est automatiquement annotée ainsi.

"Dans la vision par ordinateur, les annotations sont utilisées pour former un système pour détecter des objets, de sorte que vous pourriez marquer les yeux, le nez et la bouche pour apprendre à l'ordinateur ce visage humain ressemble», a déclaré Lee. «Beaucoup de données sont nécessaires pour former avec précision le système, réduisant ainsi la quantité d'efforts et de temps pour faire ce qui est essentiel. Au lieu d'annoter chaque image individuellement, avec AverageExplorer, nous avons seulement besoin d'annoter l'image moyenne, et le système va se propager automatiquement les annotations de la collection d'images ".

Les chercheurs ont été inspirés par des artistes comme James Salavon, qui a créé des images moyennes de centaines de photos d'enfants avec le Père Noël, les jeunes mariés ou les joueurs de base-ball pour illustrer un concept. Moyenne images peuvent fournir des informations intéressantes, telles que la convention dans la culture occidentale pour les mariées à porter du blanc et se le droit de l'époux dans les portraits officiels, ou pour les joueurs de base-ball de la jeunesse à descendre sur un genou dans leur photo officielle.

Bon nombre des étapes manuelles Salavon utilisé pour trier et aligner ses images sont maintenant automatisées via l'outil UC Berkeley.

Financement de Google, Adobe et l'Office of Naval Research a contribué à soutenir ce travail.