Fragility, credibility and counterfactuality [Fragilità, credibilità e controfattuale]

In the last decade, scientific reliance on p-values, especially when used to determine in a dichotomic manner whether a scientific result is significant or not, has been strongly criticized. As a consequence, p-values are sometimes replaced by other statistical tools, or supplemented by complementary procedures such as tests for fragility and credibility, which lend further support or challenge the conclusion. The fragility index presents some methodological weaknesses of its own. The credibility index proposed in the literature seems to provide a particularly useful supplement for p-values as well as for the fragility index, considering that it assesses the reliability of the result obtained by quantifying the a priori information needed to overturn the result. Both procedures rely on what would need to happen in order to modify the conclusion. This suggests that they can be considered as valuable new tools for quantitative measurement within a counterfactual framework. In our contribution we present this perspective, with reference to the psychological sciences.

Nell’ultimo decennio il p-value è stato sottoposto a notevoli critiche soprattutto per l’uso che se ne fa per raggiungere una conclusione dicotomica circa la significatività del risultato sperimentale (significativo o non significativo). Pertanto, da una parte il p-value è stato sostituito con approcci differenti, dall’altra è stato affiancato da alcune procedure diagnostiche, tra le quali figurano la fragilità e la credibilità, che hanno il compito di rafforzare o meno la conclusione. La fragilità e l’indice che la misura presentano aspetti di debolezza metodologica. D’altro canto, l’indice di credibilità sembra idoneo per dare o meno supporto alla conclusione e per rafforzare o sostituire l’indice di fragilità, dato che misura la credibilità del risultato osservato quantificando l’informazione a priori necessaria per ribaltare il risultato stesso. Il particolare meccanismo delle due procedure, che si fonda su quanto dovrebbe accadere per cambiare la conclusione, suggerisce di inserire le medesime nella prospettiva controfattuale considerandole come nuovi strumenti per la sua misura quantitativa. In questo contributo si presenta questa prospettiva, con particolare riferimento al campo applicativo delle scienze psicologiche.