Здание городского художественного музея представляет нам архитектуру XIX века.
В конце 60-х годов XIX века архитектор Тенешев готовил проект усадьбы заказанной богатым купцом Хандриным. Домовладение предполагалось снабдить всем необходимым для жизни по канонам высшего общества. Участок под строительство выделили по улице Александровской. Работы велись быстро, и уже в 70-х годах в квартале между переулками Депальдовским (ныне Тургеневский) и Итальянским появилось новое здание.
Всю территорию усадьбы архитектор разделил на парадную часть и хозяйственный двор. Парадную занимали жилые покои хозяев и небольшой сад, расположенный по другую сторону дома. Хозяйственный двор, выложенный квадратным итальянским камнем, соединялся с улицей посредством двустворчатых ворот художественной ковки. Здесь можно видеть (все строения сохранились до сих пор) конюшню, каретник и насыпанную для красоты возвышенность с ещё одним декоративным садиком.
На первом этаже особняка располагались две парадные анфилады. Комнаты одной шли вдоль уличного фасада, комнаты другой – вдоль внутреннего, дворового. Гостиная на этой стороне сообщалась с деревянной верандой, открытой в тенистый внутренний дворик с фруктовыми деревьями, превосходным цветником и фонтаном, дающим прохладу в самые жаркие летние дни.
Роскошь и помпезность господствовали во внутреннем убранстве здания. Интерьер украшали пять изразцовых печей (одна прямо напротив парадного входа), резные дубовые двери, люстры с обязательной позолотой, декоративный фриз и лепнина по периметру потолков.
Семья Хандриных жила в доме до самой революции 1917 года. Долгое время его хозяином был З. Я. Хандрин – богатый и образованный человек, выпускник Харьковского университета, член городской Думы и общественный деятель, занимавшийся переустройством городского театра. 
После 1917-го хозяева дома уехали на Украину, особняк был национализирован и перешёл в собственность горкомхоза. Новая власть использовала его для своих нужд. Здесь располагалась и городская военная комендатура, и детский приёмник – распределитель для беспризорников, и музыкальная школа. Только в 1974 году было решено передать строение под картинную галерею, которая базировалась до этого в одном из залов Дворца Алфераки. Экспозиция открылась для посетителей в 1976 году. Сегодня каждый желающий может увидеть замечательную коллекцию предметов искусства находящуюся в залах Художественного музея. Великолепна коллекция живописи, не многим уступает ей собрание графики. Интересен, хоть и не велик по числу экспонатов раздел скульптуры.
В здании Таганрогского художественного музея регулярно проходят выставки разнообразной тематической направленности, ведётся научная и культурно-просветительская работа. Его уникальные фонды – бесценное достояние не только Таганрога, но и всей России и всего мира.