Optimizing data analysis through offline large language models and scalable data management techniques

Abstract

The importance of data across various sectors demands innovative approaches to data management and analytics. This PhD thesis investigates the integration of offline large language models (LLMs) for automated code generation, aiming to streamline data analysis processes, and thus enhance the scalability and efficiency of data management systems. By leveraging offline LLMs, the proposed approach empowers users to perform data analyses without extensive programming skills, thereby democratizing data analytics. The research delves into the architecture and implementation of scalable data management systems that can efficiently handle datasets of several volumes. Based on an efficient data management platform, the capabilities of offline LLMs to generate analytical code are examined, showcasing how these models can transform user queries into executable scripts that facilitate data manipulation and interpretation. Through experiments and case studies, the practical applications and benefits of the proposed study are showcased. The results highlight the potential of offline Large Language Models in Data Science and Analysis. This thesis contributes to the field by presenting a study that integrates AI-driven code generation with robust data management practices, ultimately paving the way for more efficient and user-friendly data analytics solutions.

Η σημασία που έχουν αποκτήσει τα δεδομένα σε ποικίλους τομείς, καθιστά αναγκαία την ανάπτυξη καινοτόμων προσεγγίσεων στη διαχείριση και ανάλυσή τους. Η παρούσα διδακτορική διατριβή ερευνά την ενσωμάτωση τοπικών Μεγάλων Γλωσσικών Μοντέλων (Offline LLMs) για την αυτόματη παραγωγή κώδικα, με στόχο την απλοποίηση των διαδικασιών ανάλυσης δεδομένων και, κατ’ επέκταση, τη βελτίωση της επεκτασιμότητας και αποδοτικότητας των συστημάτων διαχείρισης δεδομένων. Μέσω της αξιοποίησης τοπικά εκτελούμενων LLMs, η προτεινόμενη προσέγγιση δίνει τη δυνατότητα σε χρήστες χωρίς εκτεταμένες προγραμματιστικές γνώσεις να πραγματοποιούν αναλύσεις δεδομένων, συμβάλλοντας έτσι στη δημοκρατικοποίηση της επιστήμης των δεδομένων. Η έρευνα εστιάζει στην αρχιτεκτονική και την υλοποίηση επεκτάσιμων συστημάτων διαχείρισης δεδομένων, ικανών να διαχειρίζονται αποδοτικά σύνολα δεδομένων μεγάλου όγκου. Βασιζόμενη σε μια αποδοτική πλατφόρμα διαχείρισης δεδομένων, η εργασία εξετάζει τις δυνατότητες των offline LLMs για την παραγωγή αναλυτικού κώδικα, αναδεικνύοντας πώς αυτά τα μοντέλα μπορούν να μετασχηματίσουν φυσικές ερωτήσεις χρηστών σε εκτελέσιμα σενάρια, τα οποία διευκολύνουν τον χειρισμό και την ερμηνεία των δεδομένων. Μέσα από πειραματικές διαδικασίες και μελέτες περίπτωσης, παρουσιάζονται οι πρακτικές εφαρμογές και τα οφέλη της προτεινόμενης προσέγγισης. Τα αποτελέσματα αναδεικνύουν την αποδοτικότητα των τοπικά εκτελούμενων Μεγάλων Γλωσσικών Μοντέλων στην επιστήμη και ανάλυση δεδομένων. Η διατριβή συμβάλλει στο πεδίο παρουσιάζοντας μια μελέτη που συνδυάζει τεχνικές αυτόματης παραγωγής κώδικα μέσω τεχνητής νοημοσύνης με στιβαρές πρακτικές διαχείρισης δεδομένων, ανοίγοντας τον δρόμο για πιο αποδοτικές και φιλικές προς τον χρήστη λύσεις ανάλυσης δεδομένων.