Structuring and machine learning methodologies for knowledge mining and applications on big data

Abstract

Educational institutions and medium-sized companies often possess significant underutilized computing power in their desktop hardware, while lacking the budget for dedicated high-performance computing (HPC) or expensive public cloud services. To address this gap, we designed and implemented CommC, a system that transforms existing commodity hardware into a cost-effective private computing cluster. The system leverages a hybrid architecture combining the Proxmox hypervisor for virtual machines, a layered Kubernetes cluster for orchestrating containerized applications, and lightweight Linux Containers for performance-critical tasks. The primary contribution of this work is an economic and architectural model for sustainable, on-premises computing. Our analysis demonstrates that the CommC cluster reduces computational costs by a factor of 6x to 8x compared to running equivalent workloads on major public cloud providers. To support this infrastructure, we developed a novel suite of management tools, including CommC Node Toolkit and CommC K8s Deployer for automating the installation procedure, CommC Provisioner for intelligent resource scheduling, SparkQueue for simplified job submission and SparkReact for interactive model creation. The platform's versatility and performance were validated through the successful deployment of real-world scientific applications, including the DiscMycoVir bioinformatics pipeline, running experiments for research projects in the field of NLP and the development of SparkBN, a scalable Bayesian Network classifier. The CommC project provides a proven blueprint for repurposing existing hardware into a powerful, secure, and economically transformative computing environment, freeing institutions from the recurring costs and vendor lock-in of commercial cloud platforms.

Πολλά εκπαιδευτικά ιδρύματα αλλά και μεσαίου μεγέθους εταιρείες συχνά διαθέτουν σημαντική αναξιοποίητη υπολογιστική ισχύ στους επιτραπέζιους υπολογιστές τους, ενώ παράλληλα στερούνται του προϋπολογισμού για συστήματα υπολογιστών υψηλών επιδόσεων (HPC) ή για δαπανηρές υπηρεσίες νέφους. Για την αντιμετώπιση αυτού του κενού, σχεδιάσαμε και υλοποιήσαμε το CommC, ένα σύστημα που μετατρέπει το υπάρχον υλικό ευρείας κατανάλωσης σε μια οικονομικά αποδοτική ιδιωτική υπολογιστική συστάδα (cluster). Το σύστημα αξιοποιεί μια υβριδική αρχιτεκτονική που συνδυάζει τον υπερεπόπτη (hypervisor) Proxmox για εικονικές μηχανές, μια ενσωματωμένη συστάδα Kubernetes για την ενορχήστρωση εφαρμογών σε περιέκτες (containerized applications) και ελαφρούς περιέκτες Linux (Linux containers) για εργασίες κρίσιμες ως προς την απόδοση. Η κύρια συνεισφορά αυτής της εργασίας είναι ένα οικονομικά αποδοτικό μοντέλο για βιώσιμες, τοπικές υπολογιστικές υποδομές. Η ανάλυσή μας καταδεικνύει ότι το σύστημα CommC μειώνει το κόστος κατά 6 έως 8 φορές σε σύγκριση με την εκτέλεση αντίστοιχων υπολογιστικών φόρτων σε μεγάλους παρόχους νέφους. Για την υποστήριξη αυτής της υποδομής, αναπτύχθηκαν διάφορα νέα εργαλεία διαχείρισης, στα οποία περιλαμβάνονται τα CommC Node Toolkit και CommC K8s Deployer για την αυτοματοποίηση της διαδικασίας εγκατάστασης, το CommC Provisioner για τον έξυπνο διαμοιρασμό των διαθέσιμων πόρων, το SparkQueue για την απλοποιημένη υποβολή εργασιών και το SparkReact για τη διαδραστική δημιουργία μοντέλων μηχανικής μάθησης ευρείας κλίμακας. Η ευελιξία και η απόδοση της πλατφόρμας επικυρώθηκαν μέσω της επιτυχούς ανάπτυξης επιστημονικών εφαρμογών, συμπεριλαμβανομένου του λογισμικού βιοπληροφορικής DiscMycoVir, της εκτέλεσης πειραμάτων για ερευνητικά έργα στον τομέα της Επεξεργασίας Φυσικής Γλώσσας (NLP) και της ανάπτυξης του SparkBN, ενός κατανεμημένου ταξινομητή Μπεϋζιανών Δικτύων. Το σύστημα CommC παρέχει ένα αποδεδειγμένο πρότυπο για την αξιοποίηση του υπάρχοντος υλικού και τη μετατροπή του σε ένα ισχυρό, ασφαλές και οικονομικό υπολογιστικό περιβάλλον, απαλλάσσοντας τα ιδρύματα από το επαναλαμβανόμενο κόστος και τον εγκλωβισμό σε συγκεκριμένους παρόχους εμπορικών πλατφορμών υπολογιστικού νέφους.