Automated Deep Learning through Constrained Bayesian Optimization

In an increasingly technological and interconnected world, the amount of data is continuously growing, and as a consequence, decision-making algorithms are also continually evolving to adapt to it. One of the major sources of this vast amount of data is the Internet of Things, in which billions of sensors exchange information over the network to perform various types of activities such as industrial and medical monitoring. In recent years, technological development has made it possible to define new high-performance hardware architectures for sensors, called Microcontrollers, which enabled the creation of a new kind of decentralized computing named Edge Computing. This new computing paradigm allowed sensors to run decision-making algorithm at the edge in order to take immediate and local decisions instead of transferring the data on central server processing. To support Edge Computing, the research community started developing new advanced techniques to efficiently manage the limited resources on these devices for applying the most advanced Machine Learning models, especially the Deep Neural Networks. Automated Machine Learning is a branch of the Machine Learning field aimed at disclosing the power of Machine Learning to non-experts as well as efficiently supporting data scientists in designing their own data analysis pipelines. The adoption of Automated Machine Learning has made it possible to develop increasingly high-performance models almost automatically. However, with the advent of Edge Computing, a specialization of Machine Learning, defined as Tiny Machine Learning (Tiny ML), has been arising, that is, the application of Machine Learning algorithms on devices having limited hardware resources. This thesis mainly addresses the applicability of Automated Machine Learning to generate accurate models which must be also deployable on tiny devices, specifically Microcontroller Units. More specifically, the proposed approach is aimed at maximizing the performances of Deep Neural Networks while satisfying the constraints associated to the limited hardware resources, including batteries, of Microcontrollers. Thanks to a close collaboration with STMicroelectronics, a leading company for design, production and sale of microcontrollers, it was possible to develop a novel Automated Machine Learning framework that deals with the black-box constraints related to the deployability of a Deep Neural Network on these tiny devices, widely adopted in IoT applications. The application on two real-life use cases provided by STMicroelectronics (i.e., Human Activity Recognition and Image Recognition) proved that the novel proposed approach can efficiently find out configurations for accurate and deployable Deep Neural Networks, increasing their accuracy against baseline models while drastically reducing hardware required to run them on a microcontroller (i.e., a reduction of more than 90\%). The approach was also compared against one of the state-of-the-art AutoML solutions in order to evaluate its capability to overcome the issues which currently limit the wide application of AutoML in the tiny ML field. Finally, this PhD thesis suggests interesting and challenging research directions to further increase the applicability of the proposed approach by integrating recent and innovative research results (e.g., weakly defined search spaces, Meta-Learning, Multi-objective and Multi-Information Source optimization).

In un mondo sempre più tecnologico e interconnesso, la quantità di dati è in continua crescita e, di conseguenza, anche gli algoritmi di decision-making sono in continua evoluzione per adattarsi ad essi. Una delle principali fonti di questa grande quantità di dati è l'Internet of Things, in cui miliardi di sensori si scambiano informazioni attraverso la rete per svolgere vari tipi di attività come il monitoraggio industriale e medico. Negli ultimi anni lo sviluppo tecnologico ha permesso di definire nuove architetture hardware ad alte prestazioni per i sensori, detti microcontrollori, che hanno permesso la creazione di un nuovo tipo di calcolo decentralizzato denominato Edge Computing. Questo nuovo paradigma di calcolo ha permesso ai sensori di eseguire algoritmi di decision-making per prendere decisioni immediate e locali invece di trasferire i dati su un server centrale di elaborazione. Per supportare l'Edge Computing, la comunità di ricerca ha iniziato a sviluppare nuove tecniche avanzate per gestire in modo efficiente le limitate risorse su questi dispositivi per l'applicazione dei più avanzati modelli di Machine Learning, in particolare le Deep Neural Network. Automated Machine Learning è una branca del campo del Machine Learning che mira a divulgare la potenza del Machine Learning ai non esperti, oltre a supportare in modo efficiente i data scientists nella progettazione delle proprie pipeline di analisi dei dati. L'adozione del Automated Machine Learning ha reso possibile lo sviluppo quasi automatico di modelli sempre più performanti. Tuttavia, con l'avvento dell'Edge Computing, è nata una specializzazione del Machine Learning, definita come Tiny Machine Learning (Tiny ML), ovvero l'applicazione di algoritmi di Machine Learning su dispositivi con risorse hardware limitate. Questa tesi si occupa principalmente dell'applicabilità del Automated Machine Learning per generare modelli accurati che devono essere anche implementabili su dispositivi minuscoli, in particolare i microcontrollori. Più specificamente, l'approccio proposto è volto a massimizzare le prestazioni delle Reti Neurali Profonde e a soddisfare i vincoli associati alle limitate risorse hardware, comprese le batterie, dei microcontrollori. Grazie ad una stretta collaborazione con STMicroelectronics, azienda leader nella progettazione, produzione e vendita di microcontrollori, è stato possibile sviluppare un nuovo framework di Automated Machine Learning che si occupa dei vincoli black-box relativi all’impossibilità di implementare una Deep Neural Network su questi piccoli dispositivi, ampiamente adottato nelle applicazioni dell'internet degli oggetti. L'applicazione su due casi d'uso reali forniti da STMicroelectronics (ad esempio, Human Activity Recognition e Image Recognition) ha dimostrato che il nuovo approccio proposto è in grado di trovare in modo efficiente configurazioni per reti neurali profonde accurate e implementabili, aumentandone l'accuratezza rispetto ai modelli di base e riducendo drasticamente le risorse hardware necessarie per farle funzionare su un microcontrollore (cioè, una riduzione di oltre il 90%). L'approccio è stato anche confrontato con una delle soluzioni AutoML all'avanguardia per valutare la sua capacità di superare i problemi che attualmente limitano l'ampia applicazione di AutoML nel campo del Tiny ML. Infine, questa tesi di dottorato suggerisce interessanti e stimolanti direzioni di ricerca per aumentare ulteriormente l'applicabilità dell'approccio proposto, integrando i risultati di ricerche recenti e innovative (ad esempio, weakly defined search spaces, Meta-Learning, Multi-objective and Multi-Information Source optimization).