Решение возвести пристройку к основному зданию принимается в 1872 году. Архитектором становится Александр Каминский, зять братьев Третьяковых. О подготовке к строительству рассказывается в воспоминаниях Веры Павловны Зилоти, старшей дочери коллекционера: «К весне из окон столовой мы все чаще и чаще видели, как Александр Степанович с Павлом Михайловичем ходили по саду параллельно церковной ограде, от угла столовой до Толмачевского переулка, со складными саженями. Видно было, что обсуждали, спорили: Александр Степанович размахивал руками, Павел Михайлович то и дело тер платком нос. Когда стало теплеть — появились рабочие, начали копать канавку от угла столовой по направлению к Толмачевскому переулку. <…> В угол канавки положили кирпич, покропили его святою водою и втолкнули длинный деревянный шест с крестом. Так заложили галерею…»
В ходе работ Третьяковым пришлось пожертвовать частью сада, где стояла группа густых грушевых деревьев. Спустя два года строительство завершилось: к южной стороне особняка прилегало двухэтажное здание с верхним светом — наличие так называемых стеклянных фонарей, то есть застекленного потолка, роднило его с музейными зданиями этого периода в Европе и Москве. Вход в галерею для публики — широкого круга знакомых, приходивших по письмам и рекомендациям, — был сделан непосредственно в новом здании: посетители проходили через двор и сад и шли вдоль дома. Ближний круг Третьяковых мог попасть в экспозицию из комнат второго этажа и из кабинета Павла Михайловича.
Весной 1874 года картины из жилых комнат дома в Толмачах переносятся в новое помещение. Помогавшая мужу Вера Николаевна Третьякова делает в своем дневнике такую запись: «Какое наслаждение испытывали мы, гуляя по галерее, такой великолепной зале, увешанной картинами, несравненно лучше казавшимися нам при хорошем освещении!» На первом этаже размещаются произведения старых мастеров: Боровиковского, Кипренского, Варнека, Тропинина, Брюллова, Шебуева, Егорова, Басина, Венецианова, Матвеева, Штернберга, Воробьева. В просторном втором этаже размещается новейшее искусство. В залах обоих этажей поставлены специальные перегородки для увеличения экспозиционных площадей.