Ανάκτηση Χαμένων Μετρήσεων/ Recovery of Missing Values

SmartWater2020

Ανάκτηση Χαμένων Μετρήσεων/ Recovery of Missing Values

Οι περιορισμοί στους οποίους υπόκεινται τα ασύρματα δίκτυα αισθητήρων οδηγούν συχνά στην εμφάνιση μη καταγεγραμμένων μετρήσεων. Ως μη καταγεγραμμένες θεωρούμε τις μετρήσεις η τιμή των οποίων δεν έχει αποθηκευτεί στον πίνακα μετρήσεων. Συγκεκριμένα, οι βασικές αιτίες εμφάνισής τους συνδέονται με κάποια δυσλειτουργία του αισθητήρα κατά τη λήψη της μέτρησης, ή με αποτυχία του δικτύου κατά την αποστολή της. Μια ακόμα αιτία μπορεί να θεωρηθεί ο συγχρονισμός ροών δεδομένων που δειγματολειπτούνται σε διαφορετικές συχνότητες. Επιπλέον, κατά την επεξεργασία των δεδομένων, συχνά απαιτείται η αύξηση της χρονικής ανάλυσης των σημάτων, προκειμένου να επεξεργαστούν σε μια υψηλότερη συχνότητα από εκείνη στην οποία δειγματολειπτούνται. Ένας τρόπος επίλυσης αυτού του προβλήματος είναι η αναγωγή του σε ένα πρόβλημα ανάκτησης δεδομένων , όπου οι μη καταγεγραμμένες μετρήσεις εισάγονται με δομημένο τρόπο.

Η εξαγωγή συμπερασμάτων αναφορικά με την κατάσταση του υπό παρακολούθηση περιβάλλοντος προϋποθέτει την πληρότητα των λαμβανόμενων δεδομένων. Λόγω των διαφόρων αιτιών που αναφέρθηκαν παραπάνω, οι πίνακες των μετρήσεων ενδέχεται να είναι ελλιπείς, το οποίο εγείρει την ανάγκη για ανάκτηση των χαμένων μετρήσεων (δηλ. των κενών θέσεων στον πίνακα μετρήσεων) πριν από την επεξεργασία των δεδομένων. Επιπλέον, για ροές δεδομένων των οποίων η συσχέτιση είναι υψηλή, μπορούν να εφαρμοσθούν πιο εξελιγμένοι αλγόριθμοι ανάκτησης τιμών. Συγκεκριμένα, για κάθε ροή δεδομένων με ελλιπείς μετρήσεις δημιουργείται κατάλληλος πίνακας (λειτουργία Hankelization), ο συνδυασμός των οποίων παράγει ένα τανυστή 3ης τάξης. Η συμπλήρωση των μη καταγεγραμμένων στοιχείων αυτού του τανυστή πραγματοποιείται μέσω κατάλληλων αλγορίθμων συμπλήρωσης τανυστών. Στη συνέχεια, οι αντίστροφες διαδικασίες λαμβάνουν χώρα, όπως ο διαχωρισμός των «τεμαχίων» του τανυστή και η μετατροπή του κάθε τεμαχίου από πίνακα σε διάνυσμα, προκειμένου να ανακτηθούν οι πλήρεις, πλέον, ροές δεδομένων.

The limitations to which wireless sensors are subject often lead to the occurrence of non-recorded measurements. As missing we consider those measurements whose value is not stored in the measurement matrix. Specifically, the underlying causes for their occurrence are related to a sensor malfunction during the measurement’s recording, or to a network failure during its transmission. Another cause could be attributed to the synchronization of data streams sampled at different frequencies. Furthermore, when processing the received data at the control center, it is often necessary to increase the temporal resolution of the signals, in order to process them at a higher frequency than that at which they were sampled. A typical way to address this problem is to reduce it into a missing data recovery problem, where the missing values are introduced in a structured way.

Extracting conclusions regarding the condition of the monitored environment requires the completeness of the received data. However, due to the various causes mentioned before, the measurement matrices may be incomplete, which triggers the need for missing values recovery (i.e., of the missing matrix elements) before their subsequent processing. In addition, for highly correlated data streams, more sophisticated recovery algorithms can be applied. Specifically, an appropriate matrix is created for each data stream with missing values (Hankelization process), whose concatenation yields a 3rd order tensor. The completion of this tensor’s missing entries is carried out by employing advanced tensor completion algorithms. Subsequently, the reverse processes are performed, such as separation of the tensor’s “slices” and the reshaping of each slice into a vector, in order to obtain the completed data streams.

 

Font Resize
Contrast