Почти полвека артист прожил со своей третьей женой Анной, работавшей реквизитором в театре. У пары двое сыновей – Константин и Егор, но брак бывших супругов не всегда был безоблачен. Валерий Афанасьев признался, что изменял жене, о чем сейчас сильно сожалеет. На какое-то время актер ушел от супруги к актрисе Марии Ароновой. Анна знала об этих отношениях, и в какой-то момент сама начала изменять мужу. Тем не менее, своего супруга она раз за разом прощала и принимала обратно.
