Ημερολόγιο Εκδηλώσεων

 ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ
Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Πρόγραμμα Προπτυχιακών Σπουδών

ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ

Εύας Πανταζή

με θέμα

Εκτίμηση Καρδιακού Παλμού με Χρήση Καμερών Βάθους ϰαι Τεχνικών Αναγνώρισης Προτύπων
Estimation of Heart Rate Using Depth Cameras and Pattern Recognition Methods

Εξεταστική Επιτροπή

Καθηγητής Μιχαήλ Ζερβάκης (Επιβλέπων)
Καθηγητής Θρασύβουλος Σπυρόπουλος
Επίκουρος Καθηγητής Μάριος Αντωνακάκης (ΕΛΜΕΠΑ, Τμήμα Ηλεκτρονικών Μηχανικών)

Περίληψη
Η εκτίμηση του καρδιακού παλμού είναι ϑεμελιώδης τόσο σε κλινιϰά περιβάλλοντα όσο και στην καϑημερινή ζωή. Ωστόσο τα υπάρχοντα μέσα για την εϰτίμηση του, που απαιτούν φυσική επαφή με τον ασθενή, επιβάλλουν σημαντιϰούς περιορισμούς ϰαι ϰινδύνους ιδιαίτερα όταν χρησιμοποιούνται από ασϑενείς με ευαίσϑητο δέρμα. Οι ϰάμερες βάϑους τεχνολογίας Time-of-Flight (ToF) αποτελούν μια πολλά υποσχόμενη εναλλαϰτιϰή μέσω της ανέπαφης ανίχνευσης των βαλλιστοϰαρδιογραφιϰών (BCG) ϰινήσεων του ϑώραϰα οι οποίες είναι της τάξεως του υπο-χιλιοστού. Οι συγϰεϰριμένες ϰάμερες είναι ανεξάρτητες από τον περιβάλλοντα φωτισμό ϰαι διαφυλάσσουν ταυτόχρονα την ιδιωτιϰότητα του ϰάϑε ασϑενή, ϰαϑώς βασίζονται σε γεωμετριϰές ϰαι όχι φωτομετριϰές μεταβολές. Η παρούσα διπλωματική εργασία προτείνει μια ολοϰληρωμένη μεϑοδολογία επεξεργασίας σήματος που επιτρέπει την ανάϰτηση του ϰαρδιαϰού παλμού από αϰατέργαστη ροή δεδομένων βάϑους προερχόμενα από μία ϰάμερα ToF ευρείας ϰατανάλωσης (Orbbec Femto Bolt) χωρίς την απαίτηση για εξατομιϰευμένη ρύϑμιση. Ο συνδυασμός της δυναμιϰής παραϰολούϑησης ενός ασύμμετρου πλέγματος 7 × 4 από σήματα βάϑους από την περιοχή του ϑώραϰα, μαζί με Ανϑεϰτιϰή Ανάλυση Κύριων Συνιστωσών (Robust PCA) σε ϰυλιόμενα παράϑυρα, διαϰρίνει το χωριϰά συνεϰτιϰό ϰαρδιαϰό σήμα από την έντονη αναπνευστιϰή ϰίνηση ϰαι από ϑορύβους του αισϑητήρα. ΄Ενας νέος αλγόριϑμος βαϑμολόγησης (harmonic-stack scoring) αναγνωρίζει την ϑεμελιώδη ϰαρδιαϰή συχνότητα από τα υποψήφια χρονιϰά σήματα, ενώ η προσαρμοστιϰή εξομάλυνση μέσω comb filter παράγει μία εϰτίμηση ϰαρδιαϰού παλμού ανά ϰαταγραφή. Η μεϑοδολογία αξιολογείται σε ένα σύνολο δεδομένων 76 ϰαταγραφών από 13 άτομα, με διαϰύμανση σε τρεις αποστάσεις (800, 1200, 1800 mm) ϰαι δύο συνϑήϰες ρουχισμού (μπλουζάϰι, φούτερ), με ένα συγχρονισμένο μονοπολικό ηλεϰτροϰαρδιογράφημα (ECG) ιατριϰού βαϑμού να λειτουργεί ως σημείο αναφοράς. Στη βασιϰή συνϑήϰη (1200 mm, μπλουζάϰι), η μεϑοδολογία επιτυγχάνει μέσο απόλυτο σφάλμα MAE 3.45 BPM, με το 84.6% των ϰαταγραφών εντός 5 BPM από την αναφορά ϰαι συντελεστή συσχέτισης Pearson 𝑟 = 0.84. Η απόσταση ατόμου-κάμερας αποτελεί τον κύριο παράγοντα διακύμανσης του σφάλματος μεταξύ συνθηκών, με ποινή απόστασης περίπου 1.5 BPM μεταξύ της βέλτιστης απόστασης 1200 mm και των ακραίων τιμών, ενώ η επίδραση της ενδυμασίας είναι συγκριτικά μικρή (0.56 BPM). Μια ελεγχόμενη σύγκριση μεϑόδων διαχωρισμού πηγών επιβεβαιώνει ότι η Robust PCA υπερτερεί έναντι της κλασικής PCA ϰαι της Ανάλυσης Ανεξάρτητων Συνιστωσών (ICA) κατά 29–41% στη βασική συνϑήκη. Τα αποτελέσματα αυτά επιβεβαιώνουν τη δυνατότητα εφαρμογής της βαλλιστοϰαρδιογραφίας μέσω ϰάμερας βάϑους ως πρακτικής μεθόδου παρακολούϑησης καρδιακού παλμού χωρίς επαφή.

Abstract 
Heart rate monitoring is fundamental in clinical as well as in ambulatory contexts, however existing contact based solutions place considerable behavioral burden upon the patient which can pose significant risks when used by those with sensitive skin. Time-of-Flight (ToF) depth cameras offer a compelling opportunity to realize this sensing modality through non-contact detection of the sub-millimeter BCG movements of the chest wall. These cameras operate independently of ambient light and inherently maintain patient privacy through their exclusive reliance on geometrical, rather than photometric, changes. This thesis presents an end-to-end signal processing pipeline enabling estimation of heart-rate from the raw depth stream provided by a single consumer ToF camera (Orbbec Femto Bolt) without requiring subject specific calibration. A combination of dynamic tracking of an asymmetric grid of depth signals originating from the area of interest (chest-region) with sliding-window Robust PCA separates out the spatially-coherent heart-signal against sparse sensor-artifacts and intense respiratory motion. Temporal analysis of such isolated time-courses is then facilitated through a novel harmonic-stack spectral-scoring method while refinement is afforded through application of adaptive-comb-filtering leading to one estimate of the HR per recording. This methology was evaluated in a custom dataset composed of 76 recordings taken by 13 subjects. An experimental variable was considered to assess how variation in distance between subject and camera (800, 1200, and 1800mm), and clothing conditions (T-Shirt/Hoodie) impacted the system’s behavior.
Estimates derived by our pipeline were contrasted against a synchronized medical-grade single-lead ECG ground-truth. With reference to the base-case scenario (1200mm/T-shirt) our pipeline achieves an average absolute error (MAE) of 3.45BPM with 84.6% of all recorded
instances having <5 BPM deviation from the ground-truth. The results of the analysis of the collected data based on various conditions show that the error is mainly caused by the distance between the camera and the person. On the other hand, the impact of clothing thickness on
the results is relatively low. A controlled comparison of source-separation methods establishes that Robust PCA outperforms classical PCA and Independent Component Analysis by 29–41% in the baseline configuration. These results confirm the viability of BCG measurement based on depth.

Meeting ID: 954 649 5567
Password: 956799