Σύμφωνα με τη μυθολογία, η πόλη πήρε το όνομα της μετά από τη διαμάχη της θεάς Αθηνάς και του θεού Ποσειδώνα για την κηδεμονία της πόλης.

Ο Ποσειδώνας πρόσφερε στους Αθηναίους μια πηγή με θαλασσινό νερό ή, για άλλους, ένα άλογο, ενώ η Αθήνα φύτεψε μια ελιά. Οι κάτοικοι της πόλης του Κέκροπα, επέλεξαν την ελιά, η οποία έκτοτε αποτελεί σύμβολο ειρήνης και ευημερίας και η πόλη αφιερώθηκε στη θεά της σοφίας. Οι πρώτοι μόνιμοι οικισμοί στην Αθήνα ήταν εγκατεστημένοι στις Βόρειες και Νότιες Κλιτύες της Ακρόπολης. Ο βράχος αυτής της φυσικής ακρόπολης αποτέλεσε ιδανική τοποθεσία για τους πρώτους κατοίκους καθώς τους πρόσφερε προστασία και πρόσβαση σε νερό από φυσικές πηγές. 

Οι αρχικοί οικισμοί μετατράπηκαν σταδιακά, την εποχή του Χαλκού, σε μια μυκηναϊκή πόλη με κατοικίες στην Ακρόπολη, τον Λόφο των Μουσών (Λόφο Φιλοπάππου), γύρω από το Ολυμπίειο και στην περιοχή της Αγοράς. Η ίδρυση της πόλης δημιούργησε για πρώτη φορά την ανάγκη οχύρωσης γύρω από την Ακρόπολη. Ανασκαφές σε όλο το κέντρο έχουν αποκαλύψει τα διαφορετικά τείχη που όριζαν κάφε φορά την πόλη και αποτελούν ορόσημο για τις διάφορες φάσεις ανάτπυξής της. Τα τμήματα του Πελασγικού τείχους, που βλέπουμε ακόμα και σήμερα στην Ακρόπολη χρονολογούνται από τον 13ο αι. π.Χ., και είναι η πρώτη σε μια μακρά σειρά από αμυντικές δομές που προστάτεψαν την Αθήνα στη μακρά ιστορία της.

Από τον 11ο αιώνα π.Χ. η Ακρόπολη μετατράπηκε σε ιερό βράχο, ενώ η πόλη άρχισε να οργανώνεται με την ανέγερση των πρώτων  δημόσιων  κτιρίων ειδικά σχεδιασμένων  για διοικητικές, πολιτικές και εμπορικές δραστηριότητες. Η πλειονότητα του πληθυσμού εξακολουθούσε να κατοικεί στην περιοχή μεταξύ  του Λόφου των Νυμφών και της Πνύκας, αλλά είχε ήδη αρχίσει να διαμορφώνεται η ιδέα της Αγοράς ως σημείου συγκέντρωσης για τη δημόσια ζωή.