Efficacia della Collaborazione Umano-IA: migliorare l'integrazione di consigli provenienti da agenti artificiali

One of the core tenets in cognitive science is that the human mind is an information processing system with several well-known limitations. Our cognitive architecture constrains the range of data we can gather from the environment, and moreover the use of information we collect, especially the advice from others, is generally adaptive yet suboptimal. Recent developments in computer science have delivered increasingly capable decision support systems, mostly through various forms of Artificial Intelligence, which can be used to augment human information processing by compensating limits in perception, attention, workload, and decision making. However, limitations in decision making processes are especially hard to tackle. Given that humans are and still will be the ultimate decision makers in many domains, it is important to understand how to make Human-AI Collaboration effective the most. Here we studied four possible areas of intervention: competence of the adviser, decision stakes, individual variability, design of the decision context. We also studied how advice integration might work between two large multimodal models, to gain further insights on how AI might be used to augment human decision making, and to understand the potential of AI-AI Collaboration. Our results show first that human decision makers adopt advice from others and that adoption improves final performance if the advice is of good quality. We show moreover that advice taking remains suboptimal, despite improvements, and that it augments decisions without actually reaching a synergy with the adviser on average: final assisted decisions are more accurate as compared to the decisions taken alone, but they are not on average superior to the decisions of the best evaluator available. Second, the competence of the adviser leads to better improvements in advice taking as compared to variations in decision stakes in the form of economic incentives, which instead tend to increase response times without noticeable improvements in the accuracy of the final judgment. Third, both a concurrent decision design and a sequential decision design lead to comparable improvements in the final performance, with comparable reliance on an AI adviser. Fourth, we bring evidence of the effects of inter-individual variability in advice integration and of clustering in performance and reliance when interacting with AI advisers. Finally, we evidence similarities and differences in performance and reliance between human minds and Artificial Intelligence. Our work contributes to the literature in Human-AI Collaboration by investigating areas of interventions for making cooperation more effective, highlighting the extent to which performance benefits can be gained with them. It contributes also to the early development of the AI-AI Collaboration field, towards a future in which AI systems will be increasingly autonomous and endowed with agentic capabilities.

Uno dei principi fondamentali della scienza cognitiva è che la mente umana è un sistema di elaborazione delle informazioni con diversi limiti ben noti. La nostra architettura cognitiva limita la gamma di dati che possiamo raccogliere dall'ambiente; inoltre, l'uso delle informazioni che raccogliamo, in particolare i consigli degli altri, è generalmente adattivo ma non ottimale. I recenti sviluppi nell'informatica hanno portato alla creazione di sistemi di supporto decisionale sempre più efficienti, principalmente attraverso varie forme di intelligenza artificiale, che possono essere utilizzati per potenziare l'elaborazione delle informazioni umane compensando i limiti della percezione, dell'attenzione, del carico di lavoro e dei processi decisionali. Tuttavia, i limiti nei processi decisionali sono particolarmente difficili da affrontare. Dato che gli esseri umani sono e continueranno ad essere i decisori finali in molti ambiti, è importante capire come rendere più efficace la collaborazione tra esseri umani e intelligenza artificiale. In questo studio abbiamo esaminato quattro possibili aree di intervento: competenza dell'assistente, posta in gioco della decisione, variabilità individuale, progettazione del contesto decisionale. Abbiamo anche studiato come potrebbe funzionare l'integrazione dei consigli tra due modelli multimodali di linguaggio, per ottenere ulteriori informazioni su come l'IA potrebbe essere utilizzata per potenziare il processo decisionale umano e per comprendere il potenziale della collaborazione tra IA e IA. I nostri risultati mostrano innanzitutto che i decisori umani adottano i consigli altrui e che l'adozione migliora le prestazioni finali se i consigli sono di buona qualità. Mostriamo inoltre che l'adozione dei consigli rimane subottimale, nonostante i miglioramenti, e che aumenta le prestazioni decisionali senza raggiungere effettivamente una sinergia con il l'assistente in media: le decisioni finali assistite sono più accurate rispetto alle decisioni prese da soli, ma non sono in media superiori alle decisioni del miglior valutatore disponibile. In secondo luogo, la competenza dell'assistente porta a migliori miglioramenti nell'adozione dei consigli rispetto alle variazioni nella posta in gioco delle decisioni sotto forma di incentivi economici, che invece tendono ad aumentare i tempi di risposta senza miglioramenti evidenti nell'accuratezza del giudizio finale. In terzo luogo, sia un modello decisionale simultaneo sia uno sequenziale portano a miglioramenti comparabili nella prestazione finale, con integrazione di consigli paragonabili. In quarto luogo, forniamo prove degli effetti della variabilità interindividuale nell'integrazione dei consigli e del raggruppamento in termini di prestazione e ancoraggio quando si interagisce con assistenti IA. Infine, evidenziamo somiglianze e differenze in termini di prestazione e ancoraggio tra la mente umana e l'intelligenza artificiale. Il nostro lavoro contribuisce alla letteratura sulla collaborazione umano-IA indagando le aree di intervento per rendere più efficace la cooperazione, evidenziando la misura in cui è possibile ottenere vantaggi in termini di prestazioni. Contribuisce anche allo sviluppo iniziale del campo della collaborazione IA-IA, verso un futuro in cui i sistemi di IA saranno sempre più autonomi e dotati di capacità agentiche.