Redundancy Analysis Models with Categorical Endogenous Variables: New Estimation Techniques Based on Vector GLM and Artificial Neural Networks

Structural Equation Models with latent variables have considerably developed in recent years. Starting from the pioneers of the two most prominent ways of defining models with latent variables, namely Covariance Structure Analysis and Component Analysis, with LISREL and PLS-PM as the most famous techniques, several extensions and improvements have been put forward. Moreover, for Redundancy Analysis models, which are part of the Component Analysis framework, but have only observed endogenous variables, new methods have been proposed in literature to deal with more than one group of exogenous observed variables, with simple linear equations and a unified optimization problem. One main criticism, that has been dealt with recently in new strands of literature regarding Structural Equation Modeling, is the partial inability of these systems of linear equations to deal with categorical indicators. Several methods have been proposed, in PLS-PM and LISREL respectively, either related to Optimal Scaling, or adapting the EM algorithm to the particular case under examination. In the Redundancy Analysis framework, with only observed endogenous variables, the possibility of extending the estimation procedures to a qualitative setting is considerably less hampered by model restrictions, even more so in the Extended Redundancy Analysis model, with more than one block of exogenous variables. This work will hence present a new estimation of Extended Redundancy Analysis models in presence of binary or categorical endogenous variables, with two main estimation techniques: Iterated Reweighed Least Squares, and Gradient Descent with backpropagation in an Artificial Neural Network architecture. For the latter, recent developments in Structural Equation Models in the neural networks setting will be firstly examined, and the new technique will be subsequently introduced.

I modelli ad equazioni strutturali con variabili latenti hanno subito un notevole sviluppo negli ultimi anni. Partendo dai pionieri delle due macro-definizioni di modelli con variabili latenti, Covariance Structure Analysis e Component Analysis, con LISREL e PLS-PM come le tecniche più importanti, diverse estensioni e miglioramenti sono stati proposti. Inoltre, per i modelli di analisi di ridondanza, che fanno parte della Component Analysis, ma hanno solo variabili endogene osservate, sono stati proposti nuovi metodi in letteratura per affrontare più di un gruppo di variabili osservate esogene, con equazioni lineari semplici ed un'ottimizzazione unificata del problema. La critica principale, che è stata affrontata di recente in nuovi filoni di letteratura riguardanti i modelli ad equazioni strutturali, è l'incapacità parziale di questi sistemi di equazioni di modellizzare indicatori categoriali. Sono stati proposti diversi metodi a tale scopo, in PLS-PM e LISREL rispettivamente, che sfruttano metodi di Optimal Scaling o l’algoritmo EM nel processo di ottimizzazione. Per l’analisi di ridondanza, con variabili endogene solo osservate, la possibilità di estendere le procedure di stima a variabili qualitative è notevolmente meno ostacolata da restrizioni del modello, ancor di più nel modello di analisi di ridondanza estesa, con più di un blocco di variabili esogene. Questo lavoro presenta una nuova stima di modelli di analisi di ridondanza estesa in presenza di variabili endogene binarie o categoriali, con due principali tecniche di stima: Iterated Reweighed Least Squares, e Gradient Descent con backpropagation tramite reti neurali. Per questi ultimi, recenti sviluppi nei modelli ad equazioni strutturali con reti neurali saranno esaminati, e la nuova tecnica sarà quindi introdotta.