Одним из самых примечательных каменных строений в центре Грязовца является старинное двухэтажное здание напротив техникума. Это дом купца Разумовского, построенный во второй половине XIX в. Здание включено в перечень объектов исторического и культурного наследия федерального значения (от 20 февраля 1995 г.).

На втором этаже после окончания строительства здания разместились ресторан и номера, а внизу - соляной склад и торговые помещения. Несколько позднее появилось западное крыло, где открылась чайная. В 1914 году часть верхнего этажа была передана мужской гимназии.

После революции в западном крыле разместили Дом крестьянина, на верхнем этаже в 20-е годы был организован краеведческий музей, работой которого руководил учитель Сергей Михайлович Бритвин. Музей располагал достаточно богатыми материалами по истории родного края.

Просуществовал музей до 1929 года, когда здание было передано школе глухонемых детей. Имущество музея было вывезено в Вологду и Архангельск. После строительства отдельного здания интерната для школы глухих и слабослышащих детей, 29 апреля 1978 года в половине освободившегося здания вновь был создан краеведческий музей. В начале 1980 года музею было передано все здание за исключением западного крыла.

С 1987 года - филиал областного музея-заповедника, а с 1 января 2003 - муниципальное учреждение "Грязовецкий музей истории и народной культуры".