Interpersonal action monitoring: When and why others’ errors matter

Modern technology presents new challenges for social and cognitive neuroscience. For centuries, human survival has been based on collaborative interaction with other individuals, thus promoting the selection of refined socio-cognitive skills based on specific neurophysiological mechanisms. Are these mechanisms at work also when we interact with artificial agents? In the present thesis, I will describe four studies aimed at (i) understanding the neurocognitive mechanisms underlying “interpersonal action monitoring,” i.e., the process of monitoring others’ behavioral responses and adapting one’s behavior accordingly; and (ii) exploring whether interpersonal action monitoring differs depending on the partners’ (human or non-human) nature. This was done by focusing on the responses to others’ errors. The work includes a systematic review of the behavioral and neural responses to other people’s errors (Study 1), a functional magnetic resonance (fMRI) study on the neurocognitive bases of processing human and non-human errors (Study 2), and two behavioral studies on post-error corrective behaviors (Studies 3-4). The thesis starts by providing a theoretical framework describing which neurocognitive processes may ground interpersonal action monitoring during interactions with human and non-human agents (Chapter 1). Then, Chapter 2 includes the description of a meta-analysis on the observation-induced post-error slowing (oPES), that is, the behavioral effect that occurs after others’ errors, and a meta-analysis on the brain activations associated with observed errors (Study 1). The systematic review shows good replicability of the behavioral and neurofunctional markers of interpersonal action monitoring but also raises the need to test the different cognitive hypotheses that could explain previous results in a single experiment. More specifically, it remains to be understood whether interpersonal action monitoring depends on (i) motor simulations or (ii) goal representations. For this purpose, we designed an fMRI experiment to test whether and how these processes modulate behavioral and brain responses to observed errors during joint action (Study 2, see Chapter 3). Multivariate analysis of the fMRI data shows that the human or non-human nature of the co-actor can be decoded from the action planning and monitoring brain network responding to the observation of the partners’ errors only when the interacting agents are sharing a goal. However, at a behavioral level, participants treat the performance of the human and non-human partners in the same way, with the same error-related adaptations, which are predicted by specific brain activations associated with proactive action control. In two follow-up behavioral experiments described in Chapter 4, we adapted the paradigm to test the role of simulation and goal representation processes in determining post-error compensative measures (Studies 3 and 4). To do so, we focused on a specific behavioral effect, the correction tendency effect. We found that automatic corrective tendencies are present only when interacting towards a shared goal but without differences between human and non-human co-actors, suggesting they are driven by goal-related representations. Moreover, only when sharing a goal, participants are slower when interacting with a human than a non-human co-actor, depending on how strongly they believe the human co-actor is an actual participant. Overall, this work contributes to unveiling the prominent role of goal-related neurocognitive mechanisms in determining post-error behavioral adaptations during interaction with human and non-human agents. Nevertheless, the work also suggests that the co-actor’s nature, although not directly influencing the behavioral correlates of error processing, may affect the interaction unfolding. Future studies should better clarify the practical implications of such differences in the interaction with human and non-human agents.

Per secoli, la sopravvivenza umana si è basata sulla collaborazione tra individui, grazie a raffinate abilità sociocognitive dipendenti da specifici meccanismi neurofisiologici. Tali meccanismi sono all’opera anche quando interagiamo con agenti artificiali? Nella presente tesi, descriverò 4 studi finalizzati a: (i) comprendere le basi neurocognitive dell’interpersonal action monitoring, cioè dell’insieme dei processi finalizzati al monitoraggio delle azioni altrui e al conseguente adattamento delle proprie azioni; e (ii) indagare se tali processi differiscano a seconda della natura umana o non umana del partner con cui si interagisce. A questo scopo, abbiamo considerato le risposte comportamentali e neurali conseguenti all’osservazione di un errore altrui. Il lavoro include una revisione sistematica della letteratura precedente (Studio 1), uno studio di risonanza magnetica funzionale (fMRI) sui meccanismi neurocognitivi alla base dell’interpersonal action monitoring (Studio 2) e due studi sui comportamenti di tipo correttivo che seguono ad un errore osservato (Studi 3 e 4). Il lavoro di tesi comincia con un inquadramento teorico volto a descrivere quali processi neurocognitivi potrebbero essere alla base dell’interpersonal action monitoring durante un’interazione con agenti umani o non umani (Capitolo 1). A seguire, Il Capitolo 2 include una metanalisi sull’observation-induced post-error slowing (oPES), cioè il rallentamento nei tempi di reazione conseguente all’osservazione di un errore, e una metanalisi sulle attivazioni neurali associate. La revisione sistematica dimostra la replicabilità degli indici considerati ma solleva la necessità di testare in un unico esperimento le diverse ipotesi teoriche sui meccanismi sottostanti. Al fine di rispondere a questa domanda, abbiamo condotto un esperimento fMRI per testare se e come questi processi modulano le risposte neurali a errori commessi da altri individui (Studio 2, vedi Capitolo 3). Un’analisi multivariata dei dati fMRI mostra che la natura umana o non umana del partner è decodificata dal network di pianificazione e monitoraggio dell’azione attivo in risposta a errori del partner, ma solo se gli agenti che interagiscono condividono uno scopo comune. Nonostante ciò, a livello comportamentale i partecipanti trattano gli errori dei due partner allo stesso modo, mostrando simili risposte comportamentali, associate con il controllo proattivo dell’azione. In due esperimenti comportamentali di follow-up, abbiamo adattato il paradigma usato nello studio fMRI per studiare le misure compensative post-errore (Studi 3 e 4, vedi Capitolo 4). Per indagare ciò, abbiamo preso in considerazione uno specifico effetto comportamentale, cioè il correction tendency effect. I risultati suggeriscono che tendenze correttive automatiche siano presenti solo quando due agenti interagiscono per raggiungere un obiettivo comune, sia che il partner sia umano che non umano. Ciò suggerisce che esse siano determinate dalle rappresentazioni degli scopi dell’azione. Inoltre, solo quando un obiettivo comune guida l’interazione, i partecipanti sono più lenti nel rispondere ad un partner umano rispetto ad uno non umano, a seconda di quanto credono che il partner umano sia un vero partecipante. Nel complesso, il lavoro contribuisce a svelare il ruolo principale svolto da meccanismi neuro-cognitivi di rappresentazione di goal nel determinare adattamenti comportamentali dopo errori commessi da un partner umano o non umano nel corso di un’interazione motoria. Questo lavoro suggerisce inoltre che la natura del partner, nonostante non influenzi direttamente i correlati comportamentali del monitoraggio degli errori altrui, potrebbe avere conseguenze sullo svolgersi dell’interazione. Studi futuri dovrebbero approfondire le implicazioni pratiche di tali differenze nell’interazione con agenti umani e non umani.