Ο αρχικός πυρήνας της βιβλιοθήκης ξεκίνησε με βιβλία που δώριζαν ιδιώτες στα μέσα του 19ου αιώνα. Ως αυτοτελής αναγνωρίστηκε το 1881, με επικεφαλής τον Επαμεινώνδα Σταματιάδη και τον Αριστομένη Στεργιολίδη. Σύμφωνα με τον κατάλογο που εξέδωσε ο δεύτερος, το 1898 αριθμούσε 3.753 τόμους.
Η Βιβλιοθήκη στεγαζόταν στο Πυθαγόρειο Γυμνάσιο από το 1895. Το ίδιο έτος, ο εύπορος ξυλέμπορος Μιλτιάδης Γεωργίου έχτισε το αρχοντικό του, το οποίο το 1866 μετατράπηκε για λίγο καιρό σε κατοικία του ηγεμονικού ζεύγους. Ο Μ. Γεωργίου με τη διαθήκη του παραχώρησε το κτήριο (1910) για τη δημιουργία βιβλιοθήκης, αλλά μετά τον θάνατο και της συζύγου του (1926), το κτήριο στέγασε την Αρχαιολογική Υπηρεσία, επιτάχθηκε για γραφεία της ΕΟΝ και κατόπιν Έδρα της Νομαρχίας. Η Βιβλιοθήκη εν τω μεταξύ, το 1913 στεγάστηκε στο Πασχάλειο κτήριο, έγιναν τα εγκαίνιά της το 1917, και από το 1920 εποπτευόταν από το Υπουργείο Παιδείας, είχε ενταχθεί στις δημόσιες βιβλιοθήκες του Ελληνικού Κράτους (Ν.2507/1920).
Την περίοδο 1925-1938 η Βιβλιοθήκη έκλεισε, επειδή καταργήθηκε η θέση του βιβλιοφύλακα. Η βιβλιοθήκη επαναλειτουργεί το 1938, και θέση βιβλιοφύλακα προβλέπεται και πάλι το 1943. Οργανώνονται και καταλογογραφούνται βιβλία της, στο ξεκίνημα της δεκαετίας 1950. Στον πρώτο όροφο του κτηρίου του Μ. Γεωργίου και σύμφωνα με την επιθυμία του για λειτουργία βιβλιοθήκης, εγκαθίσταται στα μέσα της δεκαετίας (1954). Το κτήριο έγινε αποκλειστικά Βιβλιοθήκη από τα μέσα της δεκαετίας 2000, και από το Υπουργείο Πολιτισμού έχει χαρακτηριστεί ως «έργο τέχνης».
