RiskSOAP: a methodology for measuring systems' capability of being self-aware of their threats and vulnerabilities

Abstract

Engineering systems are a typical example of complex socio-technical systems since they comprise technical, social, and managerial aspects. While their mission is to be in service for people by offering them high quality as well as profitable services and infrastructure, they are identified as safety-critical ones because a failure or a malfunction may result in death or serious injury to people. Indeed, practice has shown that even in engineering systems accidents are inevitable. Thus, it is apparent that there is a need for tools to support safety-driven system design and operations, as well as for accident prevention mechanisms that give critical engineering infrastructure freedom from accidents. Safety is thence listed as one of the major issues facing engineering systems.Just like in any complex socio-technical system, safety in engineering systems is treated as an emergent property. Namely, safety depends on the enforcement of constraints on the behaviour of the system components or the parts they compose together. Furthermore, regardless of whether they are located in the same or in different hierarchical system levels, components and parts are subject to constraints imposed on their potential interactions. Safety is also a control problem for the reason that to maintain it within acceptable levels, adequate feedback control processes should be designed and "installed" within a complex socio-technical system.A key factor in system safety is risk Situation Awareness (SA). Specifically, systems have a capability of perceiving and comprehending threats and vulnerabilities, as well as projecting what they may entail in response to system safety. On that account, what in this thesis is called risk SA is the individual SA of a system agent and refers to the presence of threats and vulnerabilities that may lead to system accidents. Nonetheless, in consideration of complex socio-technical systems, there is an inherent according to the system design and development, capability of each system part to provide its agent with SA about the presence of system threats and vulnerabilities, possibly leading to accidents. This capability is called risk SA provision capability and stems from the number, type, and characteristics of each one of the elements that together shape the different parts of the system, laying thus the foundation for the emergence of risk SA on a system level. Aside from the risk SA, this thesis introduces the term "risk DSA". The distinction between SA and DSA lies in the fact that the former can be found in individuals, while the latter is an emergent property of the socio-technical system. Risk DSA is a special case of DSA indicating that each agent, on the one hand, may have a detailed picture of the threats and vulnerabilities of the part he controls, but on the other hand retains a partial overview of the threats and vulnerabilities that are present in the entire system. Based on the above presented reasoning, the problem that this thesis investigates is the degree to which the various elements of a complex socio-technical system affect the risk SA provision capability of the system as a whole. Notwithstanding this problem, there is a lack of a measurable quantity indicating the degree of that capability. This raises the need of a means to facilitate engineers and designers in choosing the system, the composition of which is likely to maximise or at least enhance the risk SA provision capability. Hence, another contribution of this thesis is the proposition of the RiskSOAP methodology and its accompanying indicator.RiskSOAP provides a quantitative reflection of a system's performance in terms its risk SA provision capability, it tests the positive correlation between safety and risk SA, and encourages also the assessment of the risk DSA. Moreover, it is a comparison-based methodology that goes through three stages; that is, determine the desired composition of the system, then identify the as-is one(s), and finally employ a comparative strategy aiming to depict the distance between the compared units. To obtain that, the RiskSOAP methodology is founded on three existing approaches: the STAMP Based Process Analysis (STPA). the Early Warning Sign Analysis based on the STPA (EWaSAP) approach, and the Rogers-Tanimoto dissimilarity measure for binary data.To demonstrate how the RiskSOAP methodology applies in practice and examine the evidence of the main hypothesis and the sub-hypothesis of this research work, RiskSOAP is applied to three real engineering socio-technical systems: a robotic installation, an aviation system, and a road tunnel. Further attainments are reached in every case.Overall, the RiskSOAP indicator is assessed as complying with a group of standards and criteria. A discussion on its claimed contributions and results is also provided. Future research may bring new challenges, but it offers insight on how RiskSOAP can be further used and improved as well.

Τα συστήματα μηχανικού αποτελούν τυπικό παράδειγμα πολύπλοκων κοινωνικό-τεχνικών συστημάτων, είναι συστήματα με τεχνικές, κοινωνικές και οργανωσιακές διαστάσεις. Σκοπός τους είναι να εξυπηρετούν το κοινωνικό σύνολο και να παρέχουν υπηρεσίες και υποδομές υψηλής ποιότητας με αποδοτικότητα. Ορίζονται επίσης και ως κρίσιμες, ως προς την ασφάλεια (safety-critical) υποδομές, λόγω του ότι μία αστοχία ή δυσλειτουργία μπορεί να επιφέρει σημαντικές ανεπιθύμητες συνέπειες, όπως απώλεια ανθρώπινων ζωών, τραυματισμούς, επιβάρυνση του περιβάλλοντος και οικονομικών πόρων. Πράγματι, η εμπειρία δείχνει ότι, στα συστήματα μηχανικού τα ατυχήματα είναι αναπόφευκτα. Καθίσταται προφανές λοιπόν, ότι υπάρχει ανάγκη για εργαλεία, που υποστηρίζουν το σχεδιασμό και τη λειτουργία των συστημάτων έχοντας ως βασικό γνώμονα την ασφάλειά τους. Επίσης, αναγκαίοι κρίνονται και οι μηχανισμοί αποτροπής δυστυχημάτων/ατυχημάτων, ώστε να εξασφαλίζουν στις υποδομές μηχανικού ελευθερία από δυστυχήματα (freedom from accidents). Η ασφάλεια κατατάσσεται λοιπόν, ως ένα από τα μείζονα ζητήματα, που απασχολούν τα συστήματα μηχανικού.Όπως σε κάθε πολύπλοκο κοινωνικό-τεχνικό σύστημα, η ασφάλεια στα συστήματα μηχανικού θεωρείται αναδυόμενη ιδιότητα. Συγκεκριμένα, αυτή εξαρτάται, μεταξύ άλλων, από την επιβολή περιορισμών στη συμπεριφορά των μελών του συστήματος, καθώς αλληλεπιδρούν μεταξύ τους και με το περιβάλλον. Η ασφάλεια θεωρείται επίσης πρόβλημα ελέγχου, για το λόγο ότι για να διατηρηθεί σε αποδεκτά επίπεδα, πρέπει να σχεδιαστούν και να εφαρμοστούν επαρκείς διεργασίες ελέγχου και ανατροφοδότησης, στο πολύπλοκο κοινωνικό-τεχνικό σύστημα που μελετάται.Σημαντικό ρόλο στην ασφάλεια ενός συστήματος παίζει η Επίγνωση της Κατάστασης (ΕΚ), ως προς την ύπαρξη των παραγόντων εκείνων που ενδέχεται να προκαλέσουν δυστυχήματα/ατυχήματα (risk Situation Awareness). Συγκεκριμένα, τα συστήματα έχουν την ικανότητα να εκλαμβάνουν και να κατανοούν τις απειλές και τις ευπάθειες και να διαβλέπουν, τί μπορεί να επιφέρουν στην ασφάλειά τους. Υπό αυτό το σκεπτικό, η ΕΚ ως προς την ύπαρξη των παραγόντων εκείνων που ενδέχεται να προκαλέσουν δυστυχήματα/ατυχήματα είναι η ατομική ΕΚ κάθε πράκτορα του συστήματος και αναφέρεται στην κατανόηση ότι υφίστανται ευπάθειες και απειλές, οι οποίες μπορεί να οδηγήσουν το σύστημα σε δυστυχήματα/ατυχήματα. Δηλαδή, στα πλαίσια των πολύπλοκων κοινωνικό-τεχνικών συστημάτων, ο βρόχος ελέγχου, που αφορά σε μία ελεγχόμενη διαδικασία του συστήματος έχει μία εγγενή, με βάση το σχεδιασμό και την κατασκευή του, ικανότητα να παρέχει στον ή στους πράκτορές του που είναι υπεύθυνος/οι για τον έλεγχο της διαδικασίας αυτής ΕΚ για την ύπαρξη απειλών και ευπαθειών. Αυτή η ικανότητα ονομάζεται ικανότητα παροχής ΕΚ ως προς ενδεχόμενες επικίνδυνες καταστάσεις (risk SA provision capability). Η ικανότητα αυτή πηγάζει από τον αριθμό, τον τύπο και τα χαρακτηριστικά του κάθε συστατικού (λ.χ. αισθητήρες και ενεργοποιητές) που συνθέτουν τον κάθε βρόχο ελέγχου ξεχωριστά. Δεδομένου όμως, ότι τα κοινωνικό-τεχνικά συστήματα συντίθενται από πολλούς βρόχους ελέγχου σε περισσότερα του ενός ιεραρχικά επίπεδα, όλα αυτά μαζί συνθέτουν τη βάση για την ανάδυση της ΕΚ σε επίπεδο συστήματος.Μαζί με την ικανότητα παροχής ΕΚ, η παρούσα διατριβή εισάγει και τον όρο της κατανεμημένης ΕΚ (ΚΕΚ) ως προς τις ενδεχόμενες επικίνδυνες καταστάσεις. Σύμφωνα με αυτή, κάθε πράκτορας μπορεί να έχει, από τη μία πλευρά, μία λεπτομερή εικόνα των απειλών και των ευπαθειών του μέρους του συστήματος που αυτός ελέγχει, από την άλλη όμως, διαθέτει μερική άποψη των απειλών και των ευπαθειών, που είναι παρούσες σε ολόκληρο το σύστημα.Το πρόβλημα που διερευνά αυτή η διατριβή είναι σε τι βαθμό τα συστατικά (δηλαδή οι βρόγχοι ελέγχου) ενός πολύπλοκου κοινωνικό-τεχνικού συστήματος επηρεάζουν την ικανότητα του συστήματος ως όλον, να παρέχει ΕΚ. Παρά την ύπαρξη του προβλήματος αυτού, παρατηρείται επίσης έλλειψη μίας μετρούμενης ποσότητας, που να δηλώνει το βαθμό αυτής της ικανότητας. Αναδεικνύεται, λοιπόν, η ανάγκη για ένα μέτρο, που θα υποστηρίζει τους μηχανικούς και τους σχεδιαστές στην επιλογή του συστήματος, του οποίου η σύσταση είναι πιθανό να μεγιστοποιήσει ή τουλάχιστον να ενισχύσει την ικανότητα παροχής ΕΚ. Έτσι, μία ακόμη συνεισφορά αυτής της εργασίας είναι η εισαγωγή και η προώθηση της μεθοδολογίας RiskSOAP και του αντίστοιχου δείκτη.Η μεθοδολογία RiskSOAP παρέχει μία ποσοτική αντανάκλαση της επίδοσης του συστήματος στα πλαίσια της ικανότητας παροχής ΕΚ, εξετάζει την θετική συσχέτιση μεταξύ της ασφάλειας και της ΕΚ και λειτουργεί υποβοηθητικά, ώστε να αξιολογηθεί η ΚΕΚ.Είναι μία μεθοδολογία σύγκρισης, που εκτελείται σε τρία στάδια. Στο πρώτο στάδιο ορίζεται η επιθυμητή σύσταση του συστήματος ως προς την ασφάλειά του, μετά ορίζεται η σύσταση του συστήματος ως έχει και τελικά υιοθετεί μία στρατηγική σύγκρισης της επιθυμητής με την υφιστάμενη σύσταση, με σκοπό την απεικόνιση της απόστασης μεταξύ των συγκρινόμενων μονάδων.Για να επιτευχθεί αυτό, η μεθοδολογία RiskSOAP θεμελιώνεται πάνω σε τρεις υπάρχουσες προσεγγίσεις: την ανάλυση επικινδυνότητας STPA (STAMP Based Process Analysis), τη μέθοδο εντοπισμού σημάτων έγκαιρης προειδοποίησης EWaSAP (Early Warning Sign Analysis), η οποία βασίζεται στην STPA και το μέτρο ανομοιότητας Rogers-Tanimoto για δεδομένα δυαδικού τύπου.Η μεθοδολογία RiskSOAP εφαρμόζεται σε τρία πραγματικά πολύπλοκα κοινωνικό-τεχνικά συστήματα. Αυτά είναι: μία ρομποτική εγκατάσταση, ένα σύστημα αεροπορικό και μία οδική σήραγγα. Σκοπός αυτών των εφαρμογών είναι να γίνει επίδειξη του τρόπου με τον οποίο εφαρμόζεται στην πράξη και να προκύψουν δεδομένα και στοιχεία, ώστε να αποδειχθεί η υπόθεση και η επιμέρους υπόθεση αυτής της ερευνητικής εργασίας. Με βάση τις εφαρμογές της μεθοδολογίας στα τρία κοινωνικο-τεχνικά συστήματα, ο δείκτης RiskSOAP εκτιμάται ότι συμφωνεί με ένα σύνολο προτύπων και κριτηρίων.Στην κατακλείδα της διδακτορικής διατριβής γίνεται συζήτηση σχετικά με τη συνεισφορά, που αξιώνει και με τα αποτελέσματα που επιφέρει η συγκεκριμένη έρευνα. Η μελλοντική εργασία διερευνά τα πεδία στα οποία η μεθοδολογία RiskSOAP μπορεί να βρει πεδίο εφαρμογής και τους εναλλακτικούς τρόπους με τους οποίους μπορεί να χρησιμοποιηθεί και να βελτιωθεί.