Στη δυτική πλευρά της πλατείας των Αρχόντων βρισκόταν το Ανάκτορο που αποτελούσε την έδρα του Δούκα της Κρήτης, αλλά και το χώρο στον οποίο συνεδρίαζαν η Signioria και τα Δικαστήρια. Επρόκειτο για μεγάλο συγκρότημα με περιμετρικά κτίσματα και εσωτερική αυλή που καταλάμβανε ολόκληρο το οικοδομικό τετράγωνο. Η παλαιότερη μνεία δουκικού ανακτόρου στο Χάνδακα σχετίζεται με τον πρώτο δούκα της Κρήτης Giacomo Tiepolo και τα γεγονότα του κινήματος των Αγιοστεφανιτών το έτος 1213. Είναι ωστόσο πιθανό ότι αρχικά είχε χρησιμοποιηθεί ως ανάκτορο προϋπάρχον βυζαντινό κτήριο. Αντιθέτως, σε δουκικό έγγραφο του 1269 γίνεται αναφορά στη μορφή του νέου δουκικού ανακτόρου, με θέα στην πλατεία, του οποίου η ανέγερση είχε ήδη ολοκληρωθεί. Η παλαιότερη σωζόμενη αφαιρετική απεικόνιση του κτίσματος προέρχεται από το χάρτη του Chr. Buondelmondi του 1419, ενώ προοπτικές απεικονίσεις του στα τέλη του 16^ου αιώνα σώζονται από το Γεώργιο Κλόντζα (1590) και στο α΄ μισό του 17^ου από το Μανέα Κλόντζα. Το κτήριο γνώρισε επανειλημμένες επισκευές και προσθήκες, λόγω σεισμικών καταστροφών.

Μετά την Άλωση του Χάνδακα αποτέλεσε κατοικία του Αγά των Γενιτσάρων και μετονομάστηκε σε Αγά Καπουσί. Εγκαταλείφθηκε μετά τη διάλυση του σώματος των Γενιτσάρων το 1826. Τότε άρχισε η καταπάτηση του χώρου που κατακερματίστηκε σε μικρές ιδιοκτησίες. Στις πρώτες δεκαετίες μετά το Β΄ Παγκόσμιο Πόλεμο το δυτικό τμήμα του οικοδομικού τετραγώνου ανοικοδομήθηκε. Σήμερα διατηρούνται στην νοτιοανατολική πλευρά τέσσερις από τους θολωτούς χώρους που πλαισίωναν κάποτε την εσωτερική αυλή. Πολύ πρόσφατα, κατά την ανακαίνιση καταστήματος της ανατολικής πλευράς αποκαλύφθηκαν δυο οξυκόρυφα τόξα στον άξονα Α-Δ πάνω σε παραστάδες με επίκρανα κοσμημένα με ανάγλυφα κυμάτια, που πιθανότατα σχετίζονται με τον κεντρικό πυλώνα εισόδου του ανακτόρου. Είναι έτσι πιθανό ότι και άλλα τμήματα της κατασκευής θα αποκαλυφθούν στο μέλλον ενσωματωμένα στις μεταγενέστερες προσθήκες.