Assessment of Car Damage from Photographs

The used car dealer business model has traditionally been burdened with manual procedures for damage assessment from photographs. Even when damages are reported by external experts, a mandatory manual verification process is still necessary, often due to limited human resources leading to offer sampling. This inherent inefficiency prompted the exploration of automated solutions. This research addresses the multifaceted challenges in automating the damage assessment process, including the variety of viewpoints, unrecognizable perspectives, poor lighting conditions, general image quality issues, and the presence of external objects in photographs. Further complexity arises from the subjective nature of damage assessment by experts in the field. To tackle these challenges, the study explores the state of the art in damage recognition. Notably, most existing approaches rely on proprietary datasets, as open datasets are scarce and often lack representation of minor repairable damages. The research dissects the damage assessment problem into three interconnected subtasks: vehicle recognition/identification (comprising make, model, and production year determination), damage recognition (encompassing component identification, and damage presence classification), and the estimation of repair costs. Several subsystems have been developed to construct a holistic solution. These include photograph type classification (discerning between exterior and interior images), vehicle detection and localization, vehicle make/model/year classification (offering comprehensive vehicle identification), vehicle pose detection (accurate azimuth estimation), component type classification (for precise damage localization), and damage presence classification. This research presents an integrated framework that significantly enhances the efficiency of damage assessment processes within the used car dealership sector. In addition to developing various subsystems for comprehensive vehicle and damage analysis, this study has successfully completed an end-to-end evaluation of the entire system. This holistic evaluation demonstrates the practical applicability and robustness of the proposed solution, offering a significant leap in operational effectiveness and cost efficiency through advanced automation and optimization.

Il modello di business dei concessionari di auto usate è stato tradizionalmente gravato da procedure manuali per la valutazione dei danni a partire dalle fotografie. Anche quando i danni vengono segnalati da esperti esterni, è ancora necessario un processo di verifica manuale obbligatorio, spesso a causa di risorse umane limitate che portano a un campionamento delle offerte. Questa inefficienza intrinseca ha stimolato l'esplorazione di soluzioni automatizzate. Questa ricerca affronta le sfide multifaccettate nell'automatizzare il processo di valutazione dei danni, inclusa la varietà di punti di vista, prospettive irriconoscibili, condizioni di scarsa illuminazione, problemi generali di qualità dell'immagine e la presenza di oggetti esterni nelle fotografie. Ulteriori complessità derivano dalla natura soggettiva della valutazione dei danni da parte degli esperti del settore. Per affrontare queste sfide, lo studio esplora lo stato dell'arte nel riconoscimento dei danni. In particolare, la maggior parte degli approcci esistenti si basa su set di dati proprietari, poiché i set di dati aperti sono scarsi e spesso carenti nella rappresentazione di danni riparabili minori. La ricerca disseziona il problema della valutazione dei danni in tre sottocompiti interconnessi: riconoscimento/identificazione del veicolo (che comprende la determinazione di marca, modello e anno di produzione), riconoscimento dei danni (che include l'identificazione dei componenti e la classificazione della presenza di danni) e la stima dei costi di riparazione. Sono stati sviluppati diversi sottosistemi per costruire una soluzione olistica. Questi includono la classificazione del tipo di fotografia (distinguendo tra immagini esterne e interne), il rilevamento e la localizzazione del veicolo, la classificazione della marca/modello/anno del veicolo (offrendo un'identificazione completa del veicolo), il rilevamento della posa del veicolo (stima precisa dell'azimut), la classificazione del tipo di componente (per una localizzazione precisa dei danni) e la classificazione della presenza di danni. Questa ricerca presenta un framework che migliora significativamente l'efficienza dei processi di valutazione dei danni nel settore dei concessionari di auto usate. Oltre a sviluppare vari sottosistemi per un'analisi completa del veicolo e dei danni, questo studio ha completato una valutazione end-to-end dell'intero sistema. Questa valutazione dimostra l'applicabilità pratica e la robustezza della soluzione proposta, offrendo un significativo salto in termini di efficacia operativa ed efficienza dei costi attraverso un'automazione avanzata e ottimizzazione.