Advances in metrics and e-commerce evaluation techniques

Abstract

Web Application Evaluation and Analytics Systems is intrinsically a multidisciplinary topic of Informatics, since its primary goal is to collect data from every possible facet of the operational environment of a web application system, process it and provide insight to the management. Analytics applications are primarily based on Network Programming techniques, Data Structure Design and Implementation, Database Management Systems, Human Factors and Interfaces, Web Development Frameworks, Data and Information Visualization and Data Mining. Social Media with their broad content and their Application Programming Interfaces, as well as mobile devices which enhance the experience by extending the geographical boundaries of their accessibility. This research aims at analyzing the status quo, studying and proposing advances of Web Analytics applications and providing a software prototype, including innovative Analytics techniques. Problems and arising issues are pointed out, and appropriate solutions and techniques are presented, that provide software specifications and implementations of systems that offer full insight to the way web and E-Commerce applications operate, as well as to the mode they are visited and used by customers and the public using the Internet. Metrics concerning performance and customer habits and visitor behavior are examined and various algorithms and environments that have been developed to provide them are described. Hardware and Software innovations resulting to a perpetual evolution of platforms and foundations used to develop and operate Web Applications are taken into consideration. How the evolution of platforms is dealt with, is an interesting topic that has been analyzed here as well. This perpetual evolution triggers the development of appropriate techniques to accommodate and support adaptive measurement technologies and Analytics applications. Several solutions that have been implemented are presented in this work. Big Data techniques, that allow horizontal scaling of the volume of data the application can support, as well as enrichment of the variety of data sources provide a more accurate, higher velocity, saving time and give a more exact picture of the operation and finally remote accessibility to the e-commerce application. In addition to data collected internally by the web server, running the web application and enriched by Big Data techniques, data sources such as various Social Media Applications are also used to enhance the information collection ever further. Social Media offer large possibilities of combining personal information from external sources and allow the analyzer to complete the insight. There are various forms of Analytics applications and add-ons. In general Analytics applications can be viewed as compound systems or often as mash-up applications that operate as web-based applications, desktop applications or even both. The work-flow consists of four general groups of functionalities that can be conceptually viewed and implemented in a variety of ways: •Data Collection •Data Preparation & Storage •Computational and Mining •Result Presentation and Data Visualization The data collection procedure traditionally is based on extracting data from various sources and log files that are being generated by the web server, hosting the web application. Additional sources are used in parallel that enhance the information and provide a more consistent and global view of the users’ profile. The collected data need preparation before storage. This preparation involves locating the data sources, cleaning up redundant and unnecessary data, separating data fields, grouping and indexing. Storage takes place mainly in relational database systems, to provide flexible support for complicated queries, data correlations and searches at a later phase. Computational algorithms, data mining techniques and applications form the kernel-layer of the Analyzer. They generate metrics based on the collected data sets and enhance the existing data sets by importing additional information from external sources. Modular design and integration with contemporary report generation and visualization systems allow feeding the visualization subsystems with data. Interactive data visualization systems establish two-way communication with the computational subsystems and provide excellent interfaces for filtering and extracting results and metrics. This research focuses on ways of extending the input data of an analyzer to support retail businesses transactions as well. The key clicks of the web application users are being substituted by sensor input, automatically generated by mobile applications that are activated by retail customers transaction data while the customer is visiting the shopping floor and searches through the aisles of the shopping floor for products. A sensor mobile device environment is particularly cheap, easy to integrate and useful, especially in situations where the retailer operates electronic shopping applications in parallel, selling online the same products that are being offered on the shelves. Like most web applications and services, e-commerce applications are often implemented without significant built-in subsystems and modules acting as internal performance measuring mechanisms. Developers constantly strive to program as efficiently as they can, using the best and fastest possible run-time optimization techniques and tools and optimize their code as well as they can. Other than that, overall performance measurement is not a primary responsibility of the programmers. The reason lies mainly in the fact that performance of web applications happens to be heavily dependent on the environment characteristics they operate in. These environments are usually complex, and consist of servers and various network connections, as well as services that happen to be distributed externally, often in other countries, like payment portals and security certificates. Thus, measurements need to be designed in a way that extends beyond the core software application implemented by the developer team whose main goal is to fulfill the functional requirements of the designers. Because responsiveness is always a major factor, since high revenue is sought for in all e-commerce applications, it is important to perform these measurements well and accurately. Occasionally overall response times increase and the administrators responsible often lack the means to even notice that. To remedy such conditions, it is crucial to have a precise performance, user-action and behavior measuring and visualizing system on hand, that will make all bottlenecks and problems visible and will even predict shortage of resources. Techniques used for obtaining operational and transactional data and presenting them on time to monitor the safe operation of any web site, and particularly an e-commerce site are presented in this work. Innovative ideas range from log file data enhancement techniques to real time visualization and customer behavioral pattern analysis. A customizable and extendable log file analyzer has been developed. During the development phase, four distinctive versions of the Analyzer Application have been produced. They can be used interchangeably according to the operational environment in scrutiny. These versions are being presented as steps of development in detail in the current document. They can be viewed as complementary functionalities. Important requirements for the software developer are ease of installation, integration, configuration and tuning. Portability across operating environments and possibility of combining cross platform installations lead to using 100% Java as a developed platform. This way, evaluating any e-commerce application becomes easy for the administrators. Issues involved in creating a prototype customizable e-commerce log file analyzer for measuring customer access to E-shops are pointed out and solutions provided. The analyzer is basically a toolbox, consisting of a set of the necessary tools to load the necessary data into its database and provide exact insight for customer access and system response of e-shops. Insight can be obtained through generation of extensive reporting, graphical reports and various visuals and statistics. The analyzer provides answers to standard questions such as: How many times has a specific product been added to the cart over a period? What is the average, maximum or minimum duration of visits? How many bytes were sent from the web server per day? What is the average duration of a complete payment cycle? How many customers have visited the site in a specified time span? How much revenue do we make per day or per hour? However, it provides answers to more interesting questions on session analysis such as what the customer route within the web application was, which web pages or selections are only seldom visited and the profile characteristics of the visitors. Additionally, comparisons between different e-shops and comparisons with previous years, months and days are feasible and easy, as is error reporting and detection as well. Our first approach of this research is based on the first four steps of the Quantitative Analysis Cycle of an E-business Site: 1. Insight of e-business site architecture 2. Measuring system performance from different reference points 3. Understanding customer behavior by generating a Customer Behavior Model Graph 4. Workload and Session analysis. The final approach is providing a platform that will promote: 5. Performance model development 6. Performance parameter definition 7. Workload forecasting 8. Prediction of site performance. The e-shop log file analysis tool can transparently display user actions and allow management to locate weak spots of the e-shop design, since it provides information about all user selected paths before a successful purchase or even an unsuccessful purchase attempt. It allows measurement of the times between all steps involved. Most open-source e-commerce solutions offer some statistical tools, like reports displaying orders per day or highest selling items. These reports inform the staff about daily procedures and only successful purchases. The log file analysis application, on the other hand, is more comprehensive and powerful informing about performance, user behavior and user preferences. The goal of a business to customer (B2C) e-shop application is to promote retail sales and create profit. A virtual store allows buying products or services through a website, in analogy to a bricks-and-mortar retailer or a shopping mall. The Internet is no longer a niche technology – it is mass media and an utterly integral part of modern life. Over 85 per cent of the world’s online population has used the Internet to make a purchase. Intention to shop online in Europe is high.79 percent of online European consumers plan to purchase products or services via the Internet in the next six months. Online consumers in Norway and Great Britain show the greatest propensity with almost 90 percent planning a web purchase soon. The e-shop must have a minimal interface, consisting of search engines and product presentation mechanisms. They must also be able to support easy and quick adding of items to the cart and finally allow secure payments and possibly offer one-page checkout. Deficient performance of an e-shop will lead to lost revenue. According to the so-called 8-second rule, a user will not tolerate delays longer than 8 seconds per page-refresh of a website, not even if the user is equipped with a low-speed dial-up connection. This forces the e-shop designer, to design and implement every page as efficiently as possible. In 2001 Zona Research report more than $25 billion in potential lost business due to Web performance issues. Today, not only overall bandwidth has increased dramatically, but also the number of users, the demand for multimedia and the overall traffic. The 8-second rule still applies and the need to measure performance is still valid but under very different conditions. The web server can be configured in such a way that any access to the e-shop can be registered into an access log file. The remote IP address, time stamp of access, requested or sent object, size in bytes, duration etc. are registered here. The log file analyzer mainly operates on this file. Many issues involved with e-shop log files must be considered. Successful sale sessions are always fewer than the total number of sessions. Additionally, to human users we have sessions created by crawlers and robots. These sessions alienate the measurements. Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines, agents and research applications use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. Robots can be identified through their behavior but it may not always be feasible to detect them. The assumption is made that robots never enter the pay section of the e-shop. Still, theoretically a robot could be used to buy products. The log file analyzer we have developed contains a toolbox with specialized tools necessary for measuring performance of e-shops as well as customer behavioral patterns. Standard general-purpose log file analyzers usually process solely log files, to evaluate access hits, calculate bandwidth and report visited pages on hourly and daily basis, as well as visitor countries and browser-agent statistics. This information is very useful for a content management system, a portal, or even a static website administrator, because the pages visited, and the visit durations are enough to measure the success of the site. An e-commerce site administrator, on the other hand, needs more specific information about the performed actions and transactions, which must be combined with the log file data. E-shop specific data about products, product-categories, orders and customers are used in our toolbox to gain more precise information of the access events. This way, the end user deals with more business-specific objects since familiar terms and items are used. That makes the application easier to adopt by the administrator. The initial approach, as seen in Figure 1, has been built as a standalone application with a simple, easy to use and intuitive graphical user interface, it maintains its own database and includes options that allow its user to easily adapt and load data from both log files and bidirectionally with the e-shop data base. This model has been used as the base application upon which various extensions and addon features were implemented. This application can run anywhere, not necessarily on the machine where the web server resides. It can accommodate multiple e-shops, running on multiple web server architectures and provides a basis for the later approaches. This is a typical compound menu-driven ETL application which includes integrated visualization components and mechanisms that integrate data and information of the e-shop into the analyzer. The second approach integrates external metrics, collected from a tagging Analytics provider, like Google Analytics. The Java API allows access to registered users. This addition turns the entire system to hybrid. Hybrid Analytics applications alleviate all limitations of pure log file analyzers and tagging systems. These two initial approaches are further extended and Log File Analyzers with additional capabilities were designed and are described and presented in this document.

Η αξιολόγηση διαδικτυακών εφαρμογών και τα συστήματα Analytics είναι εγγενώς ένας διεπιστημονικός τομέας της πληροφορικής, με το δεδομένο ότι ο πρωταρχικός στόχος της είναι η συλλογή δεδομένων από κάθε πτυχή του λειτουργικού περιβάλλοντος μίας διαδικτυακής εφαρμογής, η επεξεργασία του και η παροχή της πληρέστερης δυνατής εικόνας στη διοίκηση. Οι εφαρμογές των συστημάτων Analytics βασίζονται κατά κύριο λόγο σε τεχνικές διαδικτυακού προγραμματισμού, σχεδίαση και υλοποίηση δομών δεδομένων, σε συστήματα διαχείρισης βάσεων δεδομένων, συστήματα ανάλυσης ανθρώπινου παράγοντα και διεπαφών, σε frameworks κατασκευής διαδικτυακών συστημάτων, σε συστήματα οπτικοποίησης δεδομένων και πληροφοριών και σε τεχνικές εξόρυξης δεδομένων. Τα κοινωνικά δίκτυα με το ευρύ περιεχόμενο και τις προγραμματιστικές τους διεπαφές καθώς και τις κινητές συσκευές που ενισχύουν την εμπειρία, επεκτείνοντας τα γεωγραφικά όρια της προσβασιμότητας τους. Αυτή η έρευνα στοχεύει στην ανάλυση της παρούσας κατάστασης, τη μελέτη και την πρόοδο των εφαρμογών Web Analytics και την παροχή πρωτοτύπου λογισμικού, συμπεριλαμβανομένων καινοτόμων τεχνικών Analytics. Παρουσιάζονται προβλήματα και λεπτομέρειες υλοποίησης και παρουσιάζονται κατάλληλες λύσεις και τεχνικές που παρέχουν προδιαγραφές λογισμικού και εφαρμογές συστημάτων που προσφέρουν όσο το δυνατόν πιο πλήρη γνώση του τρόπου λειτουργίας των διαδικτυακών εφαρμογών και των εφαρμογών Ηλεκτρονικού Εμπορίου καθώς και του τρόπου με τον οποίο δέχονται επισκέψεις και χρησιμοποιούνται από τους πελάτες και το κοινό που επικοινωνεί μαζί τους χρησιμοποιώντας το Διαδίκτυο. Υπολογίζονται μετρήσεις που αφορούν τις επιδόσεις και τις συνήθειες των πελατών και τη συμπεριφορά των επισκεπτών και περιγράφονται διάφοροι αλγόριθμοι και περιβάλλοντα που έχουν αναπτυχθεί για την παροχή τους. Οι καινοτομίες στο το υλικό και το λογισμικό, οι οποίες έχουν ως αποτέλεσμα την συνεχή εξέλιξη των συστημάτων και των υποδομών που χρησιμοποιούνται για την ανάπτυξη και τη λειτουργία εφαρμογών ιστού, λαμβάνονται υπόψη. Πώς αντιμετωπίζεται η εξέλιξη των frameworks, είναι ένα ενδιαφέρον θέμα που έχει αναλυθεί και εδώ. Αυτή η αέναη εξέλιξη ενεργοποιεί την ανάπτυξη κατάλληλων τεχνικών για την υποδοχή και υποστήριξη προσαρμοστικών τεχνολογιών μέτρησης και εφαρμογών Analytics. Στην εργασία αυτή παρουσιάζονται οι διάφορες λύσεις που έχουν εφαρμοστεί. Οι τεχνικές μεγάλων δεδομένων, που επιτρέπουν το οριζόντιο scaling του όγκου των δεδομένων που μπορεί να υποστηρίξει η εφαρμογή, καθώς και ο εμπλουτισμός της ποικιλίας των πηγών δεδομένων παρέχουν πιο ακριβή, υψηλότερη ταχύτητα, εξοικονομώντας χρόνο και δίνουν μια πιο ακριβή εικόνα της λειτουργίας και τέλος μεγαλύτερη προσβασιμότητα στην εφαρμογή ηλεκτρονικού εμπορίου. Εκτός από τα εσωτερικά δεδομένα που συλλέγονται από τον εξυπηρετητή διαδικτύου της εφαρμογής, με την εκτέλεση της διαδικτυακής εφαρμογής και εμπλουτισμένα με τεχνικές μεγάλων δεδομένων, χρησιμοποιούνται επίσης εξωτερικές πηγές δεδομένων, όπως διάφορες εφαρμογές Κοινωνικών Μέσων για την περαιτέρω βελτίωση της συλλογής πληροφοριών. Τα Κοινωνικά Μέσα προσφέρουν μεγάλες δυνατότητες συνδυασμού προσωπικών πληροφοριών από εξωτερικές πηγές και επιτρέπουν στον αναλυτή να εμπλουτίσει τις μετρήσεις του και να ολοκληρώσει την εικόνα καλύτερα. Υπάρχουν διάφοροι τύποι εφαρμογών Analytics, καθώς και εργαλεία λογισμικού. Σε γενικές γραμμές, οι εφαρμογές Analytics μπορούν να θεωρηθούν ως σύνθετα συστήματα, που εμφανίζονται συχνά ως διαδικτυακές εφαρμογές, εφαρμογές γραφείου ή και οι δύο. Η ροή εργασίας αποτελείται από τέσσερις γενικές ομάδες λειτουργειών που μπορούν να θεωρηθούν και να υλοποιηθούν με πολλούς τρόπους: •Συλλογή δεδομένων •Προετοιμασία και αποθήκευση δεδομένων •Υπολογισμοί και Εξόρυξη Δεδομένων •Παρουσίαση αποτελεσμάτων και οπτικοποίηση δεδομένων. Παραδοσιακά η διαδικασία συλλογής δεδομένων βασίζεται στην εξαγωγή δεδομένων από διάφορες πηγές και αρχεία καταγραφής συμβάντων (log files) που παράγονται από τον εξυπηρετητή διαδικτύου που φιλοξενεί την διαδικτυακή εφαρμογή. Πρόσθετες πηγές χρησιμοποιούνται παράλληλα, για να βελτιώσουν, να «ενισχύσουν» τις πληροφορίες και να δώσουν μια πιο συνεκτική και σφαιρική άποψη του προφίλ των χρηστών. Τα δεδομένα που συλλέγονται χρειάζονται προετοιμασία πριν από την αποθήκευση. Αυτή η προετοιμασία περιλαμβάνει τον εντοπισμό των πηγών δεδομένων, τον καθαρισμό επαναλαμβανόμενων και περιττών δεδομένων, τον διαχωρισμό των πεδίων δεδομένων, την ομαδοποίηση και το indexing. Η αποθήκευση πραγματοποιείται κυρίως σε συστήματα σχεσιακών βάσεων δεδομένων, για να παρέχει ευέλικτη υποστήριξη για σύνθετα ερωτήματα και αναζητήσεις συσχετισμών δεδομένων σε μεταγενέστερη φάση. Οι υπολογιστικοί αλγόριθμοι, οι τεχνικές εξόρυξης δεδομένων και οι εφαρμογές αποτελούν τον πυρήνα του Αναλυτή. Δημιουργούν μετρήσεις με βάση τα συλλεχθέντα σύνολα δεδομένων και βελτιώνουν τα υπάρχοντα σύνολα δεδομένων εισάγοντας πρόσθετες πληροφορίες από εξωτερικές πηγές. Ο αρθρωτός σχεδιασμός και η ενσωμάτωση με σύγχρονα συστήματα δημιουργίας και απεικόνισης αναφορών επιτρέπουν την τροφοδοσία των υποσυστημάτων οπτικοποίησης με δεδομένα. Τα συστήματα αλληλεπιδραστικής απεικόνισης δεδομένων δημιουργούν αμφίδρομη επικοινωνία με τα υπολογιστικά υποσυστήματα και παρέχουν εξαιρετικές διεπαφές για το φιλτράρισμα και την εξαγωγή αποτελεσμάτων και μετρήσεων. Αυτή η έρευνα επικεντρώνεται και στους τρόπους επέκτασης των δεδομένων εισόδου ενός αναλυτή για την υποστήριξη και συναλλαγών φυσικών επιχειρήσεων λιανικού εμπορίου. Οι βασικές λειτουργίες των χρηστών εφαρμογών διαδικτύου αντικαθίστανται από καταγραφές δεδομένων που καταγράφονται από αισθητήρες και παράγονται αυτόματα από εφαρμογές φορητών συσκευών που ενεργοποιούνται από δεδομένα συναλλαγών πελατών λιανικής ενώ ο πελάτης επισκέπτεται το εμπορικό πάτωμα και επιλέγει αναζητώντας μέσω των διαδρόμων του εμπορικού ορόφου για προϊόντα. Ένα περιβάλλον κινητής συσκευής αισθητήρα είναι ιδιαίτερα φθηνό, ενσωματώνεται εύκολα στην επιχείρηση και είναι χρήσιμο, ειδικά σε περιπτώσεις όπου ο λιανοπωλητής διαχειρίζεται παράλληλα και ηλεκτρονικό κατάστημα, πωλώντας διαδικτυακά τα ίδια προϊόντα που προσφέρονται στα ράφια. Όπως και οι περισσότερες εφαρμογές και διαδικτυακές υπηρεσίες, οι εφαρμογές ηλεκτρονικού εμπορίου υλοποιούνται συχνά χωρίς σημαντικά ενσωματωμένα υποσυστήματα και ενότητες που να λειτουργούν ως εσωτερικοί μηχανισμοί μέτρησης απόδοσης. Οι προγραμματιστές προσπαθούν συνεχώς να προγραμματίζουν όσο πιο αποτελεσματικά μπορούν, χρησιμοποιώντας τις καλύτερες και ταχύτερες τεχνικές και εργαλεία βελτιστοποίησης χρόνου εκτέλεσης και βελτιστοποιώντας τον κώδικα τους όσο μπορούν. Εκτός αυτού, η μέτρηση της συνολικής απόδοσης δεν αποτελεί πρωταρχική ευθύνη των προγραμματιστών. Ο λόγος έγκειται κυρίως στο γεγονός ότι η απόδοση των εφαρμογών ιστού εξαρτάται σε μεγάλο βαθμό από τα χαρακτηριστικά περιβάλλοντος στα οποία λειτουργούν. Τα περιβάλλοντα αυτά είναι συνήθως πολύπλοκα και αποτελούνται από διακομιστές και διάφορες συνδέσεις δικτύου, καθώς και από υπηρεσίες που διανέμονται εξωτερικά , συχνά σε άλλες χώρες, όπως οι πύλες πληρωμών και τα πιστοποιητικά ασφαλείας. Έτσι, οι μετρήσεις πρέπει να σχεδιάζονται με τρόπο που εκτείνεται πέρα από την βασική εφαρμογή λογισμικού που εφαρμόζει η ομάδα προγραμματιστών, ο κύριος στόχος της οποίας είναι να εκπληρώσει τις λειτουργικές απαιτήσεις των σχεδιαστών. Επειδή η χρονική απόκριση είναι πάντα ένας σημαντικός παράγοντας, καθώς αναζητούνται υψηλά έσοδα σε όλες τις εφαρμογές ηλεκτρονικού εμπορίου, είναι σημαντικό να πραγματοποιούνται αυτές οι μετρήσεις ολοκληρωμένα και με ακρίβεια. Περιστασιακά, οι συνολικοί χρόνοι απόκρισης αυξάνονται και οι αρμόδιοι διαχειριστές συχνά δεν έχουν τα μέσα για να το παρατηρήσουν. Για να αποκατασταθούν αυτές οι συνθήκες, είναι ζωτικής σημασίας να υπάρχουν συστήματα που να δίνουν ακριβείς πληροφορίες για την απόδοση και την δράση των χρηστών και μετρήσεις συμπεριφοράς και οπτικοποίησης της κατάστασης συστήματος, που θα καταστήσουν ορατά τα σημεία συμφόρησης και τα προβλήματα και θα προβλέψουν ακόμη και την έλλειψη πόρων. Οι τεχνικές που χρησιμοποιούνται για την απόκτηση επιχειρησιακών και συναλλακτικών δεδομένων και την έγκαιρη παρουσίασή τους για την παρακολούθηση της ασφαλούς λειτουργίας οποιουδήποτε ιστοτόπου, και ιδιαίτερα ενός δικτυακού τόπου ηλεκτρονικού εμπορίου παρουσιάζονται σε αυτό το έργο. Οι καινοτομίες που παρουσιάζονται είναι οι τεχνικές εμπλουτισμού των δεδομένων του αρχείου καταγραφής συμβάντων και η οπτική απεικόνιση σε πραγματικό χρόνο και ανάλυση συμπεριφοράς πελατών. Έχει αναπτυχθεί ένας προσαρμόσιμος σε πολλά περιβάλλοντα και επεκτάσιμος αναλυτής αρχείων καταγραφής. Κατά τη διάρκεια της φάσης ανάπτυξης, κατασκευάστηκαν τέσσερις ξεχωριστές εκδόσεις της εφαρμογής. Μπορούν να χρησιμοποιηθούν εναλλακτικά ανάλογα με το λειτουργικό περιβάλλον που ελέγχουν. Αυτές οι εκδοχές παρουσιάζονται με λεπτομέρεια ως βήματα ανάπτυξης στο παρών έγγραφο. Μπορούν να θεωρηθούν ως συμπληρωματικές λειτουργίες. Σημαντικές απαιτήσεις για τον προγραμματιστή λογισμικού είναι η ευκολία εγκατάστασης, ενσωμάτωσης, διαμόρφωσης και συντονισμού. Η φορητότητα σε λειτουργικά περιβάλλοντα και η δυνατότητα συνδυασμού εγκαταστάσεων πολλαπλών πλατφορμών οδήγησαν στη χρήση 100% Java ως περιβάλλον υλοποίησης. Με αυτόν τον τρόπο, η αξιολόγηση της εφαρμογής ηλεκτρονικού εμπορίου καθίσταται εύκολη για τους διαχειριστές. Εξετάζονται προβλήματα και θέματα που σχετίζονται με τη δημιουργία ενός πρωτοτύπου προσαρμόσιμου αναλυτή αρχείων καταγραφής ηλεκτρονικού εμπορίου για τη μέτρηση της πρόσβασης των πελατών σε ηλεκτρονικά καταστήματα και παρουσιάζονται λύσεις τους. Ο αναλυτής είναι βασικά μία εργαλειοθήκη που αποτελείται από ένα σύνολο από εργαλεία λογισμικού για τη φόρτωση των απαραίτητων δεδομένων στη βάση δεδομένων του και παρέχει ακριβή εικόνα για την πρόσβαση των πελατών και την ανταπόκριση του συστήματος στα ηλεκτρονικά καταστήματα. Η πληροφόρηση επιτυγχάνεται μέσω της δημιουργίας εκτεταμένων αναφορών, γραφικών αναφορών, οπτικοποιήσεων και παροχής στατιστικών στοιχείων. Ο αναλυτής παρέχει απαντήσεις σε τυποποιημένες ερωτήσεις όπως: Πόσες φορές έχει προστεθεί ένα συγκεκριμένο προϊόν στο καλάθι σε μια περίοδο; Ποια είναι η μέση, μέγιστη ή ελάχιστη διάρκεια επισκέψεων; Πόσες απομακρυσμένες αποστολές στέλνονταν από τον διακομιστή ανά ημέρα; Ποια είναι η μέση διάρκεια ενός πλήρους κύκλου πληρωμής; Πόσοι πελάτες έχουν επισκεφτεί τον ιστότοπο σε συγκεκριμένο χρονικό διάστημα; Πόσα έσοδα έχουμε ανά ημέρα ή ανά ώρα; Παρέχει όμως απαντήσεις σε πιο ενδιαφέρουσες ερωτήσεις σχετικά με την ανάλυση της συνόδου (session), όπως είναι η διαδρομή του πελάτη στις επιλογές της ιστοσελίδας, ποιες ιστοσελίδες ή επιλογές επισκέπτονται πελάτες σπάνια και παρουσιάζει τα χαρακτηριστικά του επισκέπτη. Επιπλέον, οι συγκρίσεις μεταξύ διαφόρων ηλεκτρονικών καταστημάτων και οι συγκρίσεις με προηγούμενα έτη, μήνες και ημέρες είναι εφικτές και γίνεται εύκολη η αναφορά και η ανίχνευση σφαλμάτων. Η πρώτη μας προσέγγιση αυτής της έρευνας βασίζεται στα πρώτα τέσσερα βήματα του κύκλου ποσοτικής ανάλυσης ενός ιστοτόπου για ηλεκτρονικού επιχειρείν: 1. Διερεύνηση της αρχιτεκτονικής του ιστοτόπου του ηλεκτρονικού επιχειρείν. 2. Απόδοση του συστήματος μέτρησης από διαφορετικά σημεία αναφοράς. 3. Κατανόηση της συμπεριφοράς των πελατών δημιουργώντας ένα γράφο μοντέλου συμπεριφοράς πελατών. 4. Ανάλυση φόρτου εργασίας και συνόδων. Η τελική προσέγγιση αποτελεί μια πλατφόρμα που θα προωθήσει. 5. Ανάπτυξη μοντέλου απόδοσης. 6. Ορισμός παραμέτρων απόδοσης. 7. Προβλέψεις φόρτου εργασίας. 8. Πρόβλεψη της απόδοσης του χώρου. Το εργαλείο ανάλυσης αρχείων καταγραφής ηλεκτρονικού καταστήματος μπορεί να προβάλει με διαφάνεια τις ενέργειες των χρηστών και να επιτρέψει στη διεύθυνση να εντοπίσει αδύναμα σημεία του σχεδιασμού του ηλεκτρονικού καταστήματος, καθώς παρέχει πληροφορίες για όλες τις επιλεγμένες διαδρομές πριν από μια επιτυχημένη αγορά ή ακόμα και μια ανεπιτυχή προσπάθεια αγοράς. Επιτρέπει τη μέτρηση των χρόνων μεταξύ όλων των σχετικών βημάτων. Οι περισσότερες λύσεις ηλεκτρονικού εμπορίου ανοιχτού κώδικα προσφέρουν ορισμένα στατιστικά εργαλεία, όπως αναφορές που εμφανίζουν παραγγελίες ανά ημέρα ή προϊόντα με υψηλότερες πωλήσεις. Αυτές οι αναφορές ενημερώνουν το προσωπικό για τις καθημερινές διαδικασίες και μόνο όσον αφορά επιτυχημένες αγορές. Η εφαρμογή ανάλυσης αρχείων καταγραφής, από την άλλη πλευρά, είναι πιο ολοκληρωμένη και ισχυρή πληροφόρηση σχετικά με την απόδοση, τη συμπεριφορά των χρηστών και τις προτιμήσεις των χρηστών. Ο στόχος της εφαρμογής ηλεκτρονικού καταστήματος B2C (business to customer) είναι να προωθήσει τις λιανικές πωλήσεις και να δημιουργήσει κέρδη. Ένα εικονικό κατάστημα επιτρέπει την αγορά προϊόντων ή υπηρεσιών μέσω μιας ιστοσελίδας, κατ' αναλογία με ένα φυσικό κατάστημα λιανικής πώλησης ή ένα εμπορικό κέντρο. Το Διαδίκτυο δεν είναι πλέον μια εξειδικευμένη τεχνολογία - είναι μέσο μαζικής ενημέρωσης και ένα αναπόσπαστο μέρος της σύγχρονης ζωής. Πάνω από το 85% του παγκόσμιου πληθυσμού στο διαδίκτυο έχει χρησιμοποιήσει το Διαδίκτυο για να κάνει μια αγορά. Περισσότεροι από τους μισούς χρήστες του Διαδικτύου είναι τακτικοί ηλεκτρονικοί αγοραστές που πραγματοποιούν ηλεκτρονικές αγορές τουλάχιστον μία φορά το μήνα. Το ηλεκτρονικό κατάστημα πρέπει να διαθέτει μια ελάχιστη διεπαφή, αποτελούμενη από μηχανές αναζήτησης και μηχανισμούς παρουσίασης προϊόντων. Πρέπει επίσης να είναι σε θέση να προσθέτουν γρήγορα προϊόντα στο καλάθι και τελικά να επιτρέπουν ασφαλείς πληρωμές και ενδεχομένως να διαθέτουν γρήγορο checkout μονής σελίδας. Η ανεπαρκής απόδοση ενός ηλεκτρονικού καταστήματος οδηγεί σε απώλεια εσόδων. Σύμφωνα με τον λεγόμενο «κανόνα των 8 δευτερολέπτων», ο χρήστης δεν θα ανεχτεί καθυστερήσεις μεγαλύτερες από 8 δευτερόλεπτα ανά ανανέωση σελίδας ενός ιστοτόπου, ακόμη και αν ο χρήστης είναι εξοπλισμένος με σύνδεση χαμηλής ταχύτητας μέσω τηλεφώνου. Αυτό αναγκάζει τον σχεδιαστή του ηλεκτρονικού καταστήματος να σχεδιάσει και να υλοποιήσει κάθε σελίδα όσο πιο αποτελεσματικά γίνεται. Η Zona Research, το 2001, αναφέρει περισσότερα από 25 δισεκατομμύρια δολάρια σε πιθανές απώλειες επιχειρήσεων λόγω προβλημάτων επιδόσεων ιστού. Από τότε, όχι μόνο το συνολικό εύρος ζώνης έχει αυξηθεί δραματικά, αλλά και ο αριθμός των χρηστών, η ζήτηση για πολυμέσα και η συνολική κίνηση. Ο κανόνας των 8 δευτερολέπτων εξακολουθεί να ισχύει και η ανάγκη μέτρησης της απόδοσης εξακολουθεί να ισχύει αλλά υπό πολύ διαφορετικές συνθήκες. Ο διακομιστής μπορεί να ρυθμιστεί κατά τέτοιο τρόπο ώστε οποιαδήποτε πρόσβαση στο ηλεκτρονικό κατάστημα να καταχωρείται σε ένα αρχείο καταγραφής πρόσβασης. Η διεύθυνση απομακρυσμένης διεύθυνσης IP, η χρονική σφραγίδα πρόσβασης, το αίτημα ή το αντικείμενο που στάλθηκε, το μέγεθος σε bytes, η διάρκεια φόρτωσης κ.λπ. καταχωρούνται εδώ. Ο αναλυτής αρχείου καταγραφής λειτουργεί κυρίως σε αυτό το αρχείο. Πολλά ζητήματα που σχετίζονται με τα αρχεία καταγραφής ηλεκτρονικών καταστημάτων πρέπει να ληφθούν υπόψη. Οι επιτυχείς συνεδρίες πώλησης είναι πάντα λιγότερες από τον συνολικό αριθμό των περιόδων σύνδεσης. Επιπλέον, εκτός από τους πραγματικούς επισκέπτες, έχουμε συνεδρίες από ηλεκτρονικούς επισκέπτες που δημιουργούνται από προγράμματα ανίχνευσης και συλλογής περιεχομένου (crawlers) και ρομπότ. Αυτές οι συνεδρίες αλλοιώνουν τις μετρήσεις. Τα διαδικτυακά ρομπότ (γνωστά και ως Web Wanderers, Crawlers ή Spiders) είναι προγράμματα που επισκέπτονται αυτόματα σελίδες στον Ιστό. Οι μηχανές αναζήτησης, οι πράκτορες και οι ερευνητικές εφαρμογές τις χρησιμοποιούν για την ευρετηρίαση του περιεχομένου ιστού, οι spammers τις χρησιμοποιούν για τη σάρωση διευθύνσεων ηλεκτρονικού ταχυδρομείου και έχουν πολλές χρήσεις. Τα ρομπότ μπορούν να εντοπιστούν μέσω της συμπεριφοράς τους, αλλά μπορεί να μην είναι πάντα εφικτό να τα ανιχνεύσουμε. Μια υπόθεση είναι ότι τα ρομπότ δεν μπαίνουν ποτέ στο τμήμα πληρωμών του ηλεκτρονικού καταστήματος. Βέβαια, ένα ρομπότ θα μπορούσε να χρησιμοποιηθεί για την αγορά προϊόντων. Ο ανιχνευτής αρχείων καταγραφής που έχουμε αναπτύξει περιέχει εργαλειοθήκη με εξειδικευμένα εργαλεία που είναι απαραίτητα για τη μέτρηση της απόδοσης των ηλεκτρονικών καταστημάτων καθώς και των προτύπων συμπεριφοράς των πελατών. Οι τυπικοί αναλυτές αρχείων καταγραφής γενικής χρήσης συνήθως επεξεργάζονται αποκλειστικά αρχεία καταγραφής, αξιολογούν τα αποτελέσματα πρόσβασης, υπολογίζουν το εύρος ζώνης και αναφέρουν τις σελίδες επισκέψεων σε ωριαία και καθημερινή βάση, καθώς και τις χώρες επισκεπτών και τα στατιστικά στοιχεία των browsers. Αυτές οι πληροφορίες είναι πολύ χρήσιμες για ένα σύστημα διαχείρισης περιεχομένου, μια πύλη ή ακόμα και ένα στατικό διαχειριστή ιστοτόπου, επειδή οι σελίδες που επισκέφτηκαν και οι διάρκειες επίσκεψης είναι αρκετές για να μετρήσουν την επιτυχία του ιστοτόπου. Ένας διαχειριστής ιστοτόπου ηλεκτρονικού εμπορίου, από την άλλη πλευρά, χρειάζεται πιο συγκεκριμένες πληροφορίες σχετικά με τις εκτελούμενες ενέργειες και συναλλαγές, οι οποίες πρέπει να συνδυαστούν με τα δεδομένα του αρχείου καταγραφής. Τα ειδικά στοιχεία του ηλεκτρονικού καταστήματος σχετικά με τα προϊόντα, τις κατηγορίες προϊόντων, τις παραγγελίες και τους πελάτες χρησιμοποιούνται στην εργαλειοθήκη μας για να αποκτήσουν ακριβέστερες πληροφορίες σχετικά με τα γεγονότα πρόσβασης. Με αυτόν τον τρόπο, ο τελικός χρήστης ασχολείται με πιο εξειδικευμένα στοιχεία για τη συγκεκριμένη επιχείρηση, καθώς χρησιμοποιούνται οικείοι όροι και στοιχεία. Αυτό καθιστά την εφαρμογή πιο εύκολη στη χρήση για τον διαχειριστή. Η αρχική προσέγγιση, έχει κατασκευαστεί ως μια αυτόνομη εφαρμογή με ένα απλό, εύχρηστο και διαισθητικό γραφικό περιβάλλον χρήστη, διατηρεί τη δική της βάση δεδομένων και περιλαμβάνει επιλογές που επιτρέπουν στον χρήστη να προσαρμόζει εύκολα και να φορτώνει δεδομένα από αμφότερα τα αρχεία καταγραφής συμβάντων πρόσβασης (access logfile), αλλά και τη βάση δεδομένων του ηλεκτρονικού καταστήματος. Αυτό το μοντέλο χρησιμοποιήθηκε σαν θεμέλιο επί του οποίου βασίζονται οι διάφορες επεκτάσεις. Αυτή η εφαρμογή μπορεί να εκτελεστεί οπουδήποτε, όχι απαραίτητα στο μηχάνημα όπου βρίσκεται ο διακομιστής ιστού. Μπορεί να φιλοξενήσει πολλαπλά ηλεκτρονικά καταστήματα, που εκτελούνται σε πολλές αρχιτεκτονικές διακομιστών Διαδικτύου και λειτουργεί σαν βάση για τις μεταγενέστερες προσεγγίσεις που έχουν υλοποιηθεί. Πρόκειται για μια τυπική ETL εφαρμογή που βασίζεται σε μενού, η οποία περιλαμβάνει ενσωματωμένα στοιχεία και μηχανισμούς απεικόνισης που ενσωματώνουν στοιχεία και πληροφορίες του ηλεκτρονικού καταστήματος στον αναλυτή. Η δεύτερη προσέγγιση ενσωματώνει και εξωτερικές μετρήσεις, που συλλέγονται από έναν πάροχο Analytics με tagging, όπως το Google Analytics. Το Java API επιτρέπει πρόσβαση σε εγγεγραμμένους χρήστες. Αυτή η προσθήκη μετατρέπει ολόκληρο το σύστημα σε υβριδικό. Οι υβριδικές εφαρμογές Analytics ξεπερνούν όλους τους περιορισμούς των αναλυτών αρχείων καταγραφής και των συστημάτων tagging. Αυτές οι δύο προσεγγίσεις διευρύνθηκαν και σχεδιάστηκαν και κατασκευάστηκαν αναλυτές αρχείων καταγραφής με πρόσθετες δυνατότητες και περιγράφονται σε αυτό το έγγραφο.