Το κτίριο χαρακτηρίστηκε διατηρητέο το 1988 από το Υπουργείο Πολιτισμού λόγω της αρχιτεκτονικής, ιστορικής, κοινωνικής και αισθητικής αξίας του. Η αρχιτεκτονική μελέτη εκπονήθηκε από τον διάσημο αρχιτέκτονα Αντώνη Μεταξά. Μοιάζει με φρούριο με επάλξεις στη στέγη του και πολλά διακοσμητικά στοιχεία εσωτερικά και εξωτερικά. Κτίστηκε στα 1902 από τον ιδιοκτήτη του Παναγή Χαροκόπο και επιπλώθηκε με σκαλιστά έπιπλα που έφερε ο ίδιος από τη Ρουμανία όπου δραστηριοποιούταν στη γεωργία αποκομίζοντας τεράστια κέρδη. Το 1899 αγόρασε από τους Τούρκους στην περιοχή της Γιάννουλης 15.000 στρέμ. τα οποία εκμεταλλεύτηκε με σύγχρονες μεθόδους και αποκόμισε μεγάλα κέρδη. Πολλά από αυτά τα διέθεσε στο δημόσιο για εθνικούς- φιλανθρωπικούς σκοπούς κερδίζοντας έτσι τον τίτλο του μεγάλου Εθνικού Ευεργέτη. Το έργο του συνεχίζει το Ίδρυμα Χαροκόπου με έδρα την Αθήνα.
Ο Παναγής Χαροκόπος καταγόταν από την Κεφαλονιά και μετανάστευσε από νεαρή ηλικία στη Ρουμανία. Με τον ερχομό του στην Ελλάδα πολιτεύθηκε με το κόμμα του Ελ. Βενιζέλου με το οποίο εκλέχθηκε βουλευτής το 1910 και πρωτοστάτησε στην απαλλοτρίωση των τσιφλικιών. Ένα χρόνο μετά απεβίωσε. Στον Πύργο γίνονταν πολλές κοσμικές εκδηλώσεις με συμμετοχή προσωπικοτήτων από την Αθήνα με κορυφαία τον Ελ. Βενιζέλο. Το 1939 ο Παναγής Χαροκόπος ο νεώτερος νυμφεύθηκε την Μελίνα Μερκούρη που έμεινε αρκετό διάστημα. Από το χαρακτηρισμό του ως διατηρητέο έτυχε της πλήρους αδιαφορίας της πολιτείας που αν συνεχιστεί θα καταλήξει σ' ένα ακόμη στοιχειωμένο Πύργο για να προκαλεί τρόμο και απογοήτευση στους διερχομένους.
Προτείνω όπως η δημοτική αρχή στο πλαίσιο της διαβούλευσης για τη Βιώσιμη Αστική Ανάπτυξη περιλάβει και τις απόλυτα αναγκαίες εργασίες που θα αποτρέψουν την κατάρρευσή του και στη συνέχεια να εξοικονομηθούν επαρκείς πιστώσεις από φορείς του Υπουργείου Πολιτισμού, για έργα αναβάθμισης αστικού περιβάλλοντος και αποκατάστασης διατηρητέων κτιρίων, για την πλήρη αποκατάσταση και αξιοποίηση του Αρχοντικού.