Художник гордился семейными традициями:
Прадед мой, Алексей Яковлевич Поленов, автор освобождения крестьян с наделом (земли), написанного по заданию Вольно-экономического общества, основал библиотеку, от него остались и художественные вещи: бюро и картины. Дед и отец продолжали собирать книги, а составление картинной галереи и коллекции рисунков начала моя мать, которая сама была художница.
В семье Дмитрия Васильевича и Марии Алексеевны Поленовых было пятеро детей: близнецы Василий и Вера, Алексей, Константин и Елена, ставшая художницей, как и Василий. О детстве художника известно из воспоминаний матери:
Вася был задумчивого и серьёзного нрава и всегда решал спор между детьми… Его большие чёрные глаза, осенённые длинными ресницами, имели кроткое и доброе выражение, и вся нежность любящего сердца отражалась в этих глазах.
В 1882 году Поленов женился на художнице Наталье Якунчиковой. Брак оказался на редкость счастливым — общие интересы и взгляды сближали супругов. Они отправились в Италию, где Василий Дмитриевич работал над картиной «Христос и грешница». Художник писал друзьям:
Наталья сильно помогает мне в моей работе: по вечерам мы читаем с ней всё, что можем достать подходящего к еврейской и евангельской истории и археологии, дни летят как часы, но когда она захворала, стало мне очень жутко.
Вскоре у молодой пары родился первенец Федюшка, проживший всего два года. Смерть малыша потрясла родителей, у художника начались сильные головные боли:
Я почти полжизни провёл в тяжёлых цепях или тисках болезни, которую доктора называют неврастенией, налетела она на меня после смерти сына…
И
Мы в Бёхове стали строить временный домик, потом обращённый в кухню. <…> На Петровской ярмарке в Тарусе купили все необходимые плошки да ложки, устроили дом и перевезли ребят, Митю и Катю.
Поленовы пережили в своём имении на Оке революционные события 1917 года. В конце
У нас пока сравнительно спокойно, но по соседству были погромы, хотя до нас не дошли; даже когда одна деревня начала об этом поговаривать, то наши ближайшие соседи объявили, что не допустят. Время жуткое, а в виду надвигающегося голода даже страшное. Тёмный обманутый народ под крик очумелых фанатиков или наглых авантюристов совершает невероятно бессмысленные поступки, не знаем, что это: зверство или просто глупость себе же во вред.
18 июля 1927 года Василия Дмитриевича Поленова не стало. Наталья Васильевна пережила мужа на четыре года и была похоронена рядом с ним около церкви Святой Троицы, построенной художником по просьбе крестьян села Бёхово.