Στο μέσον της νότιας πλευράς της παλαιάς οχύρωσης, που προχωρούσε κατά μήκος των σημερινών οδών Δαιδάλου και Χάνδακος, στο νότιο άκρο της κεντρικής οδού (Ruga Maistra) που διέσχιζε την πόλη καταλήγοντας στη πύλη του Μόλου, βρισκόταν η κύρια πύλη, η Πύλη του Κάστρου ή του Φόρου, όπως λεγόταν στους βυζαντινούς χρόνους. Στην πρώιμη Βενετοκρατία αποκαλούνταν Porta Maestra (κύρια πύλη) και πλαισιωνόταν από δυο τετράπλευρους πύργους. Η αρχική της θέση εκτιμάται ότι βρισκόταν στη γωνία των σημερινών οδών Δαιδάλου και 25^ης Αυγούστου. Κατά την ενίσχυση της οχύρωσης στη διάρκεια του 15^ου αι., η πύλη μετατοπίστηκε ελαφρά προς τα νότια και πλαισιώθηκε από δυο πύργους σε προβολή. Καθώς η νότια οχύρωση αυξήθηκε σε πάχος με την προσθήκη του κεκλιμένου προπετάσματος, η πύλη έλαβε τη μορφή θολωτής στοάς και μετονομάστηκε σε Portone. Μια ξύλινη γέφυρα, στηριγμένη σε φουρούσια, που αποκαλύφθηκαν σε ανασκαφή του 1992, βοηθούσε το πέρασμα στην απέναντι όχθη της τάφρου. Γύρω στα μέσα του 16^ου αι. πάνω από την πύλη κατασκευάστηκε ένα τετραώροφο οικοδόμημα, που στέγασε αποθήκες και μια φυλακή (fondaco vecchio). Η πύλη, με τη νέα εντυπωσιακή της μορφή, πήρε το όνομα Voltone. Το υπέργειο τμήμα της κατέρρευσε από το σεισμό του 1856. Το κεκλιμένο προπέτασμα ανάμεσα στους πύργους, που διατηρήθηκε σχεδόν άθικτο κάτω από τη στάθμη του δρόμου, αποκαλύφθηκε κατά τις ανασκαφικές έρευνες του 1992 και του 2009 σε μικρή απόσταση από την είσοδο της Βικελαίας Βιβλιοθήκης και παραμένει σε κατάχωση. Ο ανατολικός πύργος, πάνω στον οποίο είχε οικοδομηθεί ξενοδοχείο με το όνομα «London», κατεδαφίστηκε στο διάστημα 1921-1929 για την ανέγερση του δημοτικού μεγάρου «Αχτάρικα», που στέγασε τον Επιστημονικό Όμιλο και τη Βικελαία Βιβλιοθήκη. Πρόσφατα, κατά τη διάρκεια εργασιών στατικής ενίσχυσης των θεμελίων του κτηρίου, αποκαλύφθηκε η εσωτερική επιφάνεια της νότιας κεκλιμένης τοιχοποιίας του πύργου και παραμένει ορατή στο υπόγειο του κτηρίου. Από τα οικόσημα των αξιωματούχων που ήταν υπεύθυνοι για την κατασκευή του πύργου μόνο δυο διασώθηκαν και εκτίθενται στο Ιστορικό Μουσείο Κρήτης, του αρχιστρατήγου Fantino Zorzi και του συμβούλου Giovanni Moro. Ο δυτικός πύργος κατεδαφίστηκε το 1960 προκειμένου να ανοικοδομηθεί όλο το τετράγωνο.