A computational framework for Mixed Reality catalogs: from 3D reconstruction to rendering and interaction

Presentation and communication of characteristics about products and, in general, collections of objects or services are of crucial relevance in several fields. The most prominent application is given by the necessity of manufacturers and stores to advertise their offers to potential customers. To this purpose, paper or digital catalogs are often employed. Furthermore, catalogs may have goals that differ from the advertisement of physical products. They may also build on the presentation of knowledge (e.g. in a library or museum) or refer to services provided by some company or individual. With the growing diffusion of smartphones, tablets, and head-mounted displays, new possibilities arise for the catalogs to be presented by taking advantage of Mixed Reality (MR) concepts that allow the blending of virtual elements within the real world. To this end, this thesis proposes a computational framework that supports the creation of MR catalogs throughout the stages of design, development, and fruition of the catalog itself. The creation of MR catalogs involves several aspects. The key ones among them are investigated in this research. These include 3D geometry reconstruction, material appearance acquisition, and presentation of the MR catalog. Researchers have largely investigated these fields separately. This thesis aims to tackle specific problems of their usage in the creation of an MR catalog. 3D geometry reconstruction finds use in the creation of virtual 3D models of real elements for display in MR catalogs. The problem of selecting the most suitable 3D reconstruction method is addressed. In addition to 3D geometry, the look and feel of virtual elements are crucial to make them appear realistic. This thesis proposes the design and development of a low cost portable device for material appearance acquisition. Finally, the presentation of the MR catalog involves the rendering of the virtual elements and interaction with the user. In order to accomplish that, a generic framework for the creation of MR catalogs is defined. Possible use case scenarios of the proposed framework in the development of MR catalog applications are investigated.

La presentazione e comunicazione delle caratteristiche di prodotti, così come di raccolte di oggetti o servizi, sono di fondamentale importanza in diversi campi. Il caso d’uso più evidente è dato dalla necessità di produttori e negozi di pubblicizzare le proprie offerte ai potenziali clienti: a tal scopo vengono frequentemente impiegati cataloghi cartacei o digitali. Inoltre, i cataloghi possono avere obiettivi diversi dalla pubblicizzazione di prodotti fisici, possono anche presentare della conoscenza (ad esempio in una biblioteca o in un museo) oppure dei servizi forniti da una azienda o da un individuo. Con la crescente diffusione di smartphone, tablet ed head-mounted display si aprono nuove possibilità per i cataloghi, che possono essere presentati sfruttando i concetti della Mixed Reality (MR), i quali consentono l’inserimento di elementi virtuali all'interno del mondo reale. A tal fine, questa tesi propone un framework computazionale che supporta la creazione di cataloghi MR attraverso le fasi di progettazione, sviluppo e fruizione del catalogo stesso. La creazione di cataloghi MR coinvolge diversi aspetti; in questa ricerca vengono indagati quelli chiave, inclusi la ricostruzione tridimensionale della geometria, l'acquisizione dell'aspetto del materiale, la presentazione e fruizione del catalogo MR. I ricercatori hanno ampiamente studiato questi campi separatamente; questa tesi si propone quindi di affrontare problemi specifici del loro utilizzo nella creazione di un catalogo MR. La ricostruzione 3D della geometria trova impiego nella creazione di modelli tridimensionali virtuali di elementi reali da visualizzare nei cataloghi MR: viene quindi affrontato il problema della selezione del metodo di ricostruzione 3D più adatto. Oltre alla geometria, una corretta riproduzione dell’aspetto degli elementi virtuali è fondamentale per farli apparire realistici. Questa tesi propone la progettazione e lo sviluppo di un dispositivo portatile ed economico per l'acquisizione dell'aspetto dei materiali. Infine, la presentazione del catalogo MR prevede il rendering degli elementi virtuali e l'interazione con l'utente. A tal fine, viene definito un framework generico per la creazione di cataloghi MR. L’impiego del framework proposto viene investigato in possibili scenari d’uso.