Ο Απόλλων Καλαμαριάς ιδρύθηκε στις 24 Ιανουαρίου 1926 στην Καλαμαριά από Πόντιους πρόσφυγες.

Η αρχική ιδέα ήταν η ίδρυση ενός συλλόγου με σκοπό τη διάδοση της πλούσιας μουσικής παράδοσης των Ποντίων, όπου τα μέλη θα συγκεντρώνονταν για να παίξουν μαντολίνο και κιθάρα.

Έτσι επιλέχθηκε ως έμβλημα της ομάδας η κεφαλή του Απόλλωνα, θεού της μουσικής στην αρχαία ελληνική μυθολογία.

Αργότερα ακολούθησε η ίδρυση θεατρικού και αθλητικών τμημάτων.

Τα χρώματα που επιλέχτηκαν για να αντιπροσωπεύουν το σύλλογο ήταν συμβολικά για την ποντιακή ιστορία, κόκκινο για το αίμα των ανθρώπων που έχασαν τη ζωή τους κατά τον εκπατρισμό των Ποντίων και μαύρο για το πένθος.

Πρώτος πρόεδρος ορίστηκε ο Εμμανουήλ Μαγιόπουλος, ελαιοχρωματιστής στο επάγγελμα.

Το 1927 ο σύλλογος εγγράφηκε στη δύναμη των ποδοσφαιρικών σωματείων Μακεδονίας και συμμετείχε για πρώτη φορά στο Πρωτάθλημα Γ’ Κατηγορίας Θεσσαλονίκης.
To 1958 Απόλλωνας κατέκτησε το Πρωτάθλημα Ε.Π.Σ. Μακεδονίας. Το ντεμπούτο του συλλόγου στην Α’ Εθνική Κατηγορία πραγματοποιήθηκε στις 25 Οκτωβρίου 1959 εναντίον της Προοδευτικής στο γήπεδο «Γεώργιος Καραϊσκάκης».

Ο σύλλογος συμπλήρωσε τους εκατό αγώνες στην κατηγορία αυτή στις 2 Δεκεμβρίου 1962, στο γήπεδο της Τούμπας, νικώντας τον Ολυμπιακό.

Λίγες ημέρες μετά, στις 8 Δεκεμβρίου, ο παίκτης της ομάδας Νικήτας Μαλιόγλου έγινε ο πρώτος παίκτης στην ιστορία της Α’ Εθνικής που συμπλήρωνε τις 100 συμμετοχές.