В начале 20-го века на углу улиц Духовской (ныне Карла Маркса) и переулка Стахеевского (ныне Кооперативный) был построен двухэтажный каменный особняк, который принадлежал купцу первой гильдии Ивану Ивановичу Смирнову. Этот участок земли вместе с деревянным жилым домом достался купцу от его отца Ивана Васильевича Смирнова.
В 1914 г. Иван Иванович решает построить рядом с деревянным домом отца каменное здание для проведения в нем приемов и торжеств. Данный проект он поручил известному городскому архитектору Петру Фёдоровичу Федоровскому. Постройка в стиле неоклассицизм заняла у Федоровского два года, а к процессу были привлечены в том числе размещённые в Томске итальянские военнопленные.
В подвальных помещениях особняка находилась кухня, кладовые, комната для прислуги, котельная и хранилище для угля. Первый этаж состоял из вестибюля, гостиной, столовой и спальни. Также там была дополнительная комната, которая соединялась с подвальной благодаря лестнице. Почти весь второй этаж занимал двусветный зал, над местом, где располагался вестибюль, был большой кабинет. Через небольшую лестницу, которая занимала часть помещения соседнего дома, можно было выйти на антресоль.
Главной достопримечательностью особняка является большой зал, богато украшенный колоннами и пилястрами ионического ордена. Также завораживает лепнина, потолочные розетки и высокие окна. Всё это сохранилось до наших дней.
После революции советская власть в Томске решила активизировать культурную жизнь города. 16 апреля 1918 г. постановлением пленума Томского губернского исполкома было принято решение о конфискации особняка Ивана Ивановича Смирнова для открытия там картинной галереи имени Рабоче-крестьянской революции.
Открытие картинной галереи в особняке Смирнова состоялось 1 мая 1918г., однако после падения в Томске советской власти 31 мая 1918 г. художественные ценности были изъяты и возвращены владельцам, а особняк — самому Смирнову.
Тем не менее, уже в 1919г. с установлением новой советской власти особняк был конфискован во второй раз. В 1920-е годы в бывшем особняке Смирнова размещались Томский губернский комитет РКП(б), Томское отделение Международного общества помощи борцам революции и Томское филиальное районное отделение Лиги помощи детям трудящихся Германии. С 30-х годов здесь располагался Дом партийного актива Томского горкома ВКП(б), в дальнейшем — Дом политического просвещения.
В начале 1940-х годов в особняке Смирнова проходили занятия для студентов историкофилологического факультета ТГУ, а также размещалась их библиотека и хранилось имущество. В 1945 г. здесь открылся вечерний университет марксизма-ленинизма, где осуществлялось политическое и марксистко-ленинское воспитание руководящих партийных, советских и хозяйственных руководителей. Вместе с ним в здании находилась библиотека с книжным фондом в 50 тысяч томов, читальный и лекционные залы, учебные комнаты.
С 1970-х годов в особняке расположился Институт химии нефти СО АН СССР, который через девять лет переехал в специально построенное здание в Академгородке. В 1979 г. был создан Сибирский филиал Всесоюзного онкологического центра Академии Медицинских наук СССР, и в здании по пер. Кооперативному, 5 с 1979 г. был размещен теоретический корпус НИИ онкологии НЦ РАМН СССР. В июле 1986 г. Сибирские филиалы Всесоюзных научных центров АМН СССР были реорганизованы в Томский научный центр АМН СССР в составе пяти научно-исследовательских институтов (первый в СССР региональный научный центр АМН): онкологии, кардиологии, психического здоровья, фармакологии, медицинской генетики. Сейчас в особняке находится Научноисследовательский институт онкологии научного центра РАМН. В 1995 году особняк Ивана Ивановича Смирнова был признан памятником архитектуры федерального значения.