The hotel test of multitasking: psychometric properties and norms

Abstract

Objective: The Hotel Test is a multitasking assessment of executive functioning (EF)developed in response to the need for ecologically valid assessments of EF in Acquired Brain Injury (ABI). The purpose of the review is to systematically analyse the evidence regarding the psychometric properties of the Hotel Test to guide decisions regarding its use in research and clinical practice. Methods: Six electronic databases were systematically searched in September 2021. Risk of bias was assessed using the COSMIN checklist. Study results on each measurement property were collated and synthesised. Results: Eleven studies were identified reporting data on the measurement properties for at least one of the Hotel Test scores. There was low and very-low quality evidence for convergent and ecological validity respectively, and moderate quality evidence for known-group validity. No studies reported data on content, structural, cross-cultural and criterion validity or reliability(internal consistency, test-retest & interrater reliability and measurement error). The quality of the evidence for responsiveness could not be determined. Conclusion: The review provides some support for the use of the Hotel Test in ABI research and clinical practice. However, the tool should be used cautiously due to the lack of strong evidence regarding its psychometric properties. Reasons for the mixed results are discussed and areas for future research are suggested. Background: There is a need for ecologically valid tests of multitasking in neuropsychological assessment and rehabilitation. The Hotel Test is an ecologically valid multitasking test of executive functioning (EF) that has shown promise in identifying EF deficits and could be avaluable clinical tool. However, no normative data is available for the test, limiting its utility. Aims: We aim to improve the utility of the Hotel Test by producing normative data and reporting on its psychometric properties. Methods: The study utilises existing data from a study on cognition and ageing to producer egression-based norms for the UK population, controlling for the effects of age, education and IQ. Moreover, validity is assessed by analysing the relationship between performance on the Hotel Test and other cognitive measures. Results: Age, education and IQ were significant predictors of multitasking performance. Regression-based norms were developed and calculator and instructions for a companion programme are provided. Small correlations were identified demonstrating divergent validity between Hotel Test performance and relevant neuropsychological measures. Conclusions: The utility of the test has been enhanced by developing comprehensive norm. The broader results enable clinicians and researchers to make better informed decisions regarding its use.

Στόχος: Η δοκιμασία Hotel Test είναι μια αξιολόγηση της εκτελεστικής λειτουργικότητας (EF) που αναπτύχθηκε ως απάντηση στην ανάγκη για οικολογικά έγκυρες αξιολογήσεις της EF στην επίκτητη εγκεφαλική βλάβη (ABI). Σκοπός της ανασκόπησης είναι η συστηματική ανάλυση των στοιχείων σχετικά με τις ψυχομετρικές ιδιότητες του Hotel Test, ώστε να καθοδηγήσει τις αποφάσεις σχετικά με τη χρήση του στην έρευνα και την κλινική πρακτική: Έξι ηλεκτρονικές βάσεις δεδομένων αναζητήθηκαν συστηματικά τον Σεπτέμβριο του 2021. Ο κίνδυνος μεροληψίας αξιολογήθηκε με τη χρήση του καταλόγου ελέγχου COSMIN. Συγκεντρώθηκαν και συντέθηκαν τα αποτελέσματα των μελετών για κάθε ιδιότητα μέτρησης.Αποτελέσματα: Εντοπίστηκαν έντεκα μελέτες που ανέφεραν δεδομένα σχετικά με τις ιδιότητες μέτρησης για τουλάχιστον μία από τις βαθμολογίες του Hotel Test. Υπήρχαν χαμηλής και πολύ χαμηλής ποιότητας στοιχεία για τη συγκλίνουσα και οικολογική εγκυρότητα αντίστοιχα, και μέτριας ποιότητας στοιχεία για την εγκυρότητα της γνωστής ομάδας.Καμία μελέτη δεν ανέφερε στοιχεία για την εγκυρότητα περιεχομένου, τη δομική, τη διαπολιτισμική και την εγκυρότητα κριτηρίου ή την αξιοπιστία (εσωτερική συνοχή, αξιοπιστία δοκιμής-επαναληπτικής δοκιμής και αξιοπιστία μεταξύ ανακριτών και σφάλμα μέτρησης). Η ποιότητα των αποδεικτικών στοιχείων για την ανταπόκριση δεν μπόρεσε να προσδιοριστεί: Η ανασκόπηση παρέχει κάποια υποστήριξη για τη χρήση του Hotel Test στην έρευνα και την κλινική πρακτική του ABI. Ωστόσο, το εργαλείο θα πρέπει να χρησιμοποιείται με προσοχή λόγω της έλλειψης ισχυρών αποδείξεων σχετικά με τις ψυχομετρικές του ιδιότητες. Συζητούνται οι λόγοι για τα μικτά αποτελέσματα και προτείνονται τομείς για μελλοντική έρευνα. Υπόβαθρο: Υπάρχει ανάγκη για οικολογικά έγκυρα τεστ πολλαπλών καθηκόντων στη νευροψυχολογική αξιολόγηση και αποκατάσταση. Η δοκιμασία Hotel Test είναι μια οικολογικά έγκυρη δοκιμασία πολλαπλών καθηκόντων για την εκτελεστική λειτουργία (EF), η οποία έχει δείξει ότι υπόσχεται να εντοπίσει ελλείμματα EF και θα μπορούσε να αποτελέσει χρήσιμο κλινικό εργαλείο. Ωστόσο, δεν υπάρχουν διαθέσιμα κανονιστικά δεδομένα για τη δοκιμασία, γεγονός που περιορίζει τη χρησιμότητά της.Στόχοι: Στόχος μας είναι να βελτιώσουμε τη χρησιμότητα της δοκιμασίας Hotel Test με την παραγωγή κανονιστικών δεδομένων και την αναφορά των ψυχομετρικών ιδιοτήτων της. Μέθοδοι: Η µελέτη χρησιµοποιεί τα υπάρχοντα δεδοµένα από µια µελέτη για τη νόηση και τη γήρανση για την παραγωγή προτύπων µε βάση την παλινδρόµηση για τον πληθυσµό του Ηνωµένου Βασιλείου, ελέγχοντας τις επιδράσεις της ηλικίας, της εκπαίδευσης και του IQ. Επιπλέον, η εγκυρότητα αξιολογείται με την ανάλυση της σχέσης μεταξύ των επιδόσεων στοHotel Test και άλλων γνωστικών μετρήσεων.Αποτελέσματα: Αναπτύχθηκαν πρότυπα με βάση την παλινδρόμηση και παρέχονται υπολογιστής και οδηγίες για ένα συνοδευτικό πρόγραμμα. Εντοπίστηκαν μικρές συσχετίσεις που αποδεικνύουν αποκλίνουσα εγκυρότηταμεταξύ της επίδοσης του Hotel Test και των σχετικών νευροψυχολογικών μέτρων: Τα ευρύτερα αποτελέσματα επιτρέπουν στους κλινικούς ιατρούς και τους ερευνητές να λαμβάνουν καλύτερα τεκμηριωμένες αποφάσεις σχετικά με τη χρήση της.