Το κτήριο της Ενετικής Λέσχης αποτελούσε χώρο συνάντησης, συναλλαγής και διασκέδασης των αξιωματούχων, των ευγενών και γενικότερα των επιφανών και εύπορων πολιτών του Χάνδακα. Ανακατασκευάστηκε τέσσερις φορές σε διαφορετικές θέσεις, έως ότου λάβει τη μορφή που είναι γνωστή από φωτογραφίες και σχέδια των αρχών του 20ού αιώνα. Το τελευταίο κατά σειρά κτήριο οικοδομήθηκε από τον Προνοητή Fr. Morosini μεταξύ του 1626 και 1628 στη ΝΑ γωνία της Piazza dei Signiori (σημερινή πλατεία Καλλεργών) και αποτέλεσε ένα από τα ωραιότερα δημόσια κτήρια του Χάνδακα. Στην Οθωμανική περίοδο διατηρήθηκε σχεδόν άθικτο, αν και συνενώθηκε με το όμορο προς τα βόρεια κτήριο της Οπλοθήκης (Armeria). Στις αρχές του 20ού αιώνα διατηρούνταν ακόμη σε καλή κατάσταση, όπως μαρτυρούν οι φωτογραφίες του G. Gerola. Το 1900 μάλιστα δημοπρατήθηκε η αποκατάσταση του κτηρίου, με βάση τα σχέδια του μηχανικού δημοσίων έργων Κρήτης Ν. Σαλίβερου, προκειμένου να μετατραπεί σε αρχαιολογικό Μουσείο. Οι εργασίες δεν προχώρησαν, καθώς το κτήριο κρίθηκε στατικά ανεπαρκές. Στα 1901-1902 ο Ιταλός μηχανικός Federico Berchet, διευθυντής του Περιφερειακού Γραφείου για τη συντήρηση των Μνημείων των Βενετών, βασισμένος στις φωτογραφίες και τα σχέδια που του διέθεσε ο G. Gerola, πρότεινε την αποκατάσταση του κτηρίου στην αρχική του μορφή. Ωστόσο, σύμφωνα με το Στέργιο Σπανάκη, η πρόταση και η ανάμιξη του Instituto Veneto «προκάλεσαν δριμείαν πολεμικήν περί της σκοπιμότητος ή μη της διατηρήσεως του εξόχου τούτου μνημείου». Το Σεπτέμβριο του 1904 και μέσα σε διάστημα 48 ωρών ο όροφος του κτηρίου κατεδαφίστηκε με βάναυσο τρόπο, με την πρόφαση ότι ήταν ετοιμόρροπος, ενώ ελάχιστα τμήματα του γλυπτού του διακόσμου περισυλλέχτηκαν. Σύμφωνα με την περιγραφή του αυτόπτη μάρτυρα Στέφανου Ξανθουδίδη, «κατερρίπτοντο μετά λύσσης και μανίας πρωτοφανούς από ύψους 10-15 μέτρων επί του λιθόστρωτου της οδού, οι κίονες και τα άλλα αρχιτεκτονικά μέλη και εθρυμματίζοντο, εν τη φοβερά δε ταύτη πτώσει ηκρωτηρίαζον και κατακερμάτιζον και τα κάλλιστα διατηρούμενα μέρη του ισογείου ορόφου, μάλιστα δε τον στυλοβάτην και τα πρoέχοντα γείσα, τα οποία και εκολόβωσαν κατά τρόπον οικτρόν».

Μετά την κατακραυγή και με μεγάλη καθυστέρηση, το 1911 το Δημοτικό Συμβούλιο ζήτησε την αρωγή της Ιταλικής κυβέρνησης για την αναστήλωση του μνημείου. Από μια ειρωνεία της τύχης, την ίδια χρονιά η Βενετία εκπροσωπήθηκε στη Διεθνή Έκθεση της Ρώμης με περίπτερο που αναπαριστούσε τη Loggia του Χάνδακα σε σχέδια του Εφόρου των μνημείων της Βενετίας Max Ongaro. Το αίτημα του Δήμου έγινε δεκτό το 1914 και ο ίδιος ο M. Ongaro επισκέφθηκε το μνημείο μαζί με τον G. Gerola, προκειμένου να εκπονήσει τη μελέτη. Οι εργασίες ωστόσο διακόπηκαν και πάλι μέσα στο 1915. Ο Α΄ Παγκόσμιος Πόλεμος και η Μικρασιατική Καταστροφή υπήρξαν νέο εμπόδιο. Στο διάστημα από το 1932 ως το 1934 το όμορο κτήριο της Armeria ανακατασκευάστηκε εκ βάθρων, ωστόσο το 1937 το εναπομείναν ισόγειο τμήμα της Loggia κατεδαφίστηκε πλήρως με τρόπο παρόμοιο με εκείνον του 1904.

Στη θέση της αυθεντικής Loggia του 17^ου αι. κατασκευάστηκε ανάμεσα στο 1960 και τη δεκαετία του 1980 ένα σχετικά πιστό αντίγραφο, για να στεγάσει το Δημαρχείο της πόλης. Η ανακατασκευή αυτή έλαβε μάλιστα το βραβείο της Europa Nostra.

Τους θριγκούς του κτηρίου κοσμούσαν αρχικά 82 ανάγλυφες μετόπες με φτερωτούς λέοντες, όπλα ή τρόπαια, μουσικά όργανα και κόμβους. Από αυτές στα 1900 είχαν επιβιώσει στη θέση τους 68, με 22 διαφορετικές επαναλαμβανόμενες παραστάσεις. Οι περισσότερες χάθηκαν κατά την περιπέτεια των κατεδαφίσεων. Ορισμένες (15 συνολικά) περισυνελέγησαν και φυλάχτηκαν αρχικά στο Αρχαιολογικό Μουσείο Ηρακλείου και αργότερα στο Ιστορικό Μουσείο Κρήτης. Δυο ακόμη, άγνωστες μέχρι πρόσφατα, εντοπίστηκαν σε λιθοσωρό στην τάφρο των ενετικών τειχών και μεταφέρθηκαν στις αποθήκες της 13^ης Ε.Β.Α. Σήμερα εκτίθενται εδώ μαζί με μια ομάδα αρχιτεκτονικών μελών που εντοπίστηκαν στον ίδιο λιθοσωρό και ταυτοποιήθηκαν ως μέρη του μνημείου χάρη στις φωτογραφίες του G. Gerola.