Γεννήθηκε στις 3 Ιανουαρίου του 1939 στην Αθήνα και μεγάλωσε στα Εξάρχεια.
Η καταγωγή του ήταν από την Ακράτα.
Αγωνιζόταν στη θέση του αριστερού μέσου ή αριστερού ακραίου επιθετικού και σε μικρή ηλικία ξεκίνησε το ποδόσφαιρο στον Αστέρα Εξαρχείων.
Στη συνέχεια μετακινήθηκε στον ΠΑΟ Ρουφ, στον Παναθηναϊκό όπου έπαιξε μόλις μία φορά με την πρώτη ομάδα σε ηλικία 17 ετών, στην ΑΕ Χαλανδρίου, στον Ολυμπιακό Πειραιώς (μετέχοντας σε έναν αγώνα πρωταθλήματος), Ατρόμητο Πειραιώς (Καμινίων), Ολυμπιακός Χαλκίδας (για τον οποίο σημείωσε τέρμα σε βάρος του αντίστοιχου του Πειραιά, όταν το 1963 επέστρεψε ως αντίπαλος στο Καραϊσκάκης), Παναιγιάλειο, Πανελευσινιακό και Βύζαντα Μεγάρων, όπου το 1969 τερμάτισε την καριέρα του.
Ο Αστέρας Εξαρχείων ήταν η πρώτη ομάδα που ανέλαβε ως προπονητής το 1969.
Εργάστηκε σε αρκετούς ελληνικούς συλλόγους, με αποκορύφωμα τον Ολυμπιακό Πειραιώς στον οποίο διορίστηκε τρεις φορές (τέλη 1983, 1994 και 2004), αλλά και στους ΑΕΚ, ΠΑΟΚ, ΟΦΗ, ΑΕ Λάρισας, Ηρακλή, Πανιώνιο και Εθνικό Πειραιώς.
Στην Α’ Εθνική προπόνησε επίσης… Καστοριά, Παναχαϊκή, Ιωνικό, Δόξα Δράμας, Κόρινθο, Απόλλωνα Καλαμαριάς, Προοδευτική και Εθνικό Αστέρα.Δύο συνεχείς χρονιές στην αρχή της καριέρας του, με τον ΠΑΣ Γιάννενα το 1973–74 (για πρώτη φορά στην ιστορία του συλλόγου) και τον Πιερικό το 1974–75, πέτυχε ισάριθμες ανόδους στην Α’ Εθνική κατηγορία, κατακτώντας παράλληλα και τις δύο χρονιές το πρωτάθλημα της Β’ Εθνικής.
Εκτός από τους δύο αυτούς τίτλους, έχει κατακτήσει και το κύπελλο Κύπρου 1996–97 ως τεχνικός του ΑΠΟΕΛ, μετά από νίκη με 2–0 επί της Ομόνοιας στον τελικό.
Το 1985 ανέλαβε ως προπονητής τον Ηρακλή. Εκείνη τη περίοδο η ομάδα βρισκόταν σε κακή κατάσταση, αλλά πραγματοποίησε εξαιρετικές εμφανίσεις και κατάφερε να κερδίσει στη Θεσσαλονίκη και τις τρεις κορυφαίες ομάδες των Αθηνών, 3–1 τους Ολυμπιακό και Παναθηναϊκό, και 3–0 την ΑΕΚ, τερματίζοντας τελικώς στην τρίτη θέση του πρωταθλήματος.
Αρνητικό ρεκόρ στην ιστορία του Ελληνικού ποδοσφαίρου, αποτέλεσε η παραμονή του στην τεχνική ηγεσία του Φωστήρα για τρεις μόλις ώρες, το Σεπτέμβριο του 2002.
Ξεχωριστό κεφάλαιο στην προπονητική πορεία του Νίκου Αλέφαντου υπήρξαν οι τρεις θητείες που είχε στον πάγκο του ΟΣΦΠ.
Η πρώτη του θητεία ήταν από την 1η Δεκεμβρίου του 1983 μέχρι τις 12 Μαρτίου του 1984 (αγωνιστική περίοδος 1983-1984).
Η δεύτερη θητεία του ήταν η μεγαλύτερη χρονικά, από τις 27 Ιανουαρίου 1994 μέχρι τις 16 Σεπτεμβρίου 1994 (αγωνιστική περίοδος 1993-1994 και ξεκίνημα της περιόδου 1994-1995).
Η τρίτη και τελευταία θητεία του Αλέφαντου στον πάγκο των «ερυθρολεύκων» ήταν από τις 19 Μαρτίου 2004 μέχρι τις 31 Μαΐου 2004, και πάλι επί προεδρίας Σωκράτη Κόκκαλη.
Ο Ολυμπιακός κατάφερε να κερδίσει όλα τα παιχνίδια στο πρωτάθλημα εκτός του ντέρμπι στη Λεωφόρο με τον Παναθηναϊκό, το οποίο έληξε ισόπαλο με 2–2.
Το 1986 το λαϊκό μουσικό σχήμα Τα παιδιά από την Πάτρα κυκλοφόρησε δίσκο στον οποίο περιεχόταν τραγούδι για τον Νίκο Αλέφαντο με τίτλο «Ο Αλέφαντος» (Όταν με κατηγορούν), όπου περιλαμβάνεται ως στίχος η, διάσημη πλέον, επευφημία «Γεια σου ρε Αλέφαντε, είσαι παλικάρι».Αφορμή για τη δημιουργία του τραγουδιού ήταν μια διαμάχη του Νίκου Αλέφαντου με τον πρόεδρο του Παναθηναϊκού Γιώργο Βαρδινογιάννη το 1981, η οποία εκφράστηκε με ανταλλαγή επιστολών μέσω Τύπου.
