Τις λιμενικές ανάγκες της πρωτεύουσας της Κρήτης εξυπηρετούσαν στα μινωικά χρόνια οι εκβολές του Κατσαμπά, αν και σαν ασφαλής προλιμένας λειτούργησαν σε όλες τις εποχές οι νότιοι όρμοι της Ντίας. Από τον 3ο αι. π.Χ. και εξής αναπτύχθηκε γύρω από το μετέπειτα ενετικό λιμάνι μια μικρή πόλη, το Ηράκλειον. Δύο επιμήκεις βραχώδεις εξάρσεις εκεί όπου αργότερα κατασκευάστηκαν οι ενετικοί λιμενοβραχίονες παρείχαν στοιχειώδη προστασία από τους βοριάδες. Το Ηράκλειον ή Κάστρο και ολόκληρη η Κρήτη καταλήφθηκε από τους Άραβες, το 827, προκειμένου να την χρησιμοποιήσουν ως κύριο λιμάνι και σκλαβοπάζαρο των πειρατικών εξορμήσεών τους προς το Αιγαίο. Οι Βυζαντινοί κατάφεραν να την ανακαταλάβουν το 961. Την αποκατέστησαν ως Μεγάλο Κάστρο του Χάνδακα, και κατασκεύασαν ή ανακατασκεύασαν, στη θέση του σημερινού Κούλε, ένα πύργο προστασίας του λιμανιού.

Το 1213 η Κρήτη καταλαμβάνεται από τους Ενετούς. Ό Χάνδακας, ως Candia πλέον, γίνεται πρωτεύουσα του Βασιλείου της Κρήτης. Την οχυρώνουν και την στολίζουν με ναούς, οικοδομήματα και κρήνες, αλλά κυρίως οργανώνουν το λιμάνι της για να διεξάγεται από εκεί με ασφάλεια το εμπόριο μεταξύ Ανατολής και Δύσης. Η πόλη ήκμασε ιδιαίτερα στην περίοδο της Αναγέννησης, αποκαλούμενη Βενετία της Ανατολής, εξαιτίας ακριβώς του πλούτου που προσπόριζε η θέση της στους εμπορικούς δρόμους της Ανατολικής Μεσογείου. Στην περιοχή του λιμανιού διαμορφώθηκαν και τειχίστηκαν οι δύο λιμενοβραχίονες, κτίστηκε ο Κούλες και τρία συγκροτήματα νεωρίων, στα οποία διαχείμαζαν και επισκευάζονταν οι ενετικές γαλέρες που εξασφάλιζαν το εμπόριο και την ασφάλεια του νησιού.

Την άνθηση διέκοψε η οθωμανική κατάκτηση το 1669. Μικρή ανάκαμψη παρατηρείται τον 18ο αιώνα, οπότε και προστέθηκε στο ακρομόλιο, απέναντι από τον Κούλε, ένας μικρός, ο Μικρός Κούλες. Ο πύργος αυτός καταστράφηκε μαζί με όλη την οχύρωση του ανατολικού λιμενοβραχίονα στη δεκαετία του 1930.