Στο κέντρο της παλιάς πόλης της Ξάνθης, λίγα μέτρα πιο κάτω από την πλατεία Μητροπόλεως βρίσκεται το «Αρχοντικό Κουγιουμτζόγλου» έδρα του Μουσείου από το 1975. Κτισμένο το 1860 από την οικογένεια Κουγιουμτζόγλου αποτελεί σημαντικό έκθεμα από μόνο του και ιστορική μαρτυρία για την κοινωνική και οικονομική ζωή μιας πόλης που άκμασε στις αρχές του 20ου αιώνα.
Το κτήριο είναι μια σπάνια περίπτωση διπλής κατοικίας, με ομοιότητες τόσο στις εξωτερικές τους όψεις όσο, και στην διευθέτηση των εσωτερικών χώρων. Κάθε μία έχει από τις κατοικίες, έχει τη δική της ανεξάρτητη είσοδο, δύο ορόφους και ένα ημιυπόγειο. Στη μικρή αυλή στο πίσω μέρος των δίδυμων κατοικιών, βρίσκονται επίσης δύο μικρά, ανεξάρτητα χαμάμ σε παραδοσιακή ανατολίτικη μορφή με τρουλίσκους.
Η επιβλητική κλίμακα και ο διάκοσμος της πρόσοψης εντυπωσιάζουν. Οι εξωτερικοί τοίχοι είναι φτιαγμένοι από πέτρα ενώ την κύρια πρόσοψη, κοσμούν είκοσι έξι ορθογώνια παράθυρα με κορνίζα από οπτόπλινθο και ψαμμίτη. Οι δύο πόρτες των εισόδου είναι τοξοειδείς με αντίστοιχη κορνίζα και φέρουν δεξιά και αριστερά τους στενά παράθυρα. Η πρόσοψη φέρει επίσης ψευδοπεσσούς από τούβλο με επίκρανα και αετώματα, 2 μπαλκόνια με περίτεχνα κάγκελα. Το αλυσιδωτό μοτίβο των τούβλων και οι χρωματικές αντιθέσεις των υλικών αντανακλούν τις ευρωπαϊκές καταβολές του σχεδιασμού.
Στο εσωτερικό του ο σχεδιασμός, εξακολουθεί την συμμετρική του κατανομή και στις δύο οικίες, στα ισόγεια, και τους ορόφους. Σε αυτά τα δύο επίπεδα ιδιαίτερη εντύπωση προκαλεί η πλούσια εσωτερική διακόσμηση με τοιχογραφίες, οροφογραφίες και ξυλόγλυπτες οροφές τα οποία αναπτύσσονται σε τέτοια έκταση ώστε το κτήριο να αποτελεί το πλουσιότερο σε διάκοσμο, πλήρως αποκατεστημένο κτήριο στην Βόρεια Ελλάδα!