Как поступить в данном случаи,чтоб не навредить ребенку

Здравствуйте! У нас такая ситуация! Моему сыну 5.8. С бывшем мужем расстались когда сыну было 1,2 года. В результате сын папу знает только по фотографиям, т.к. папа не изъявляет желания общаться. Мы живем не далеко от него, ходим в садик мимо дома где он живет он даже нас пару раз видел,что мы идем, в первый раз зашел в магазин,чтоб не сталкиваться с нами,второй раз в метре от нас просто стоял смотрел. Ребенок его на улице конечно не узнает еще т.к не помнит его в живую. Причиной развода была другая женщина, расстались плохо, но с ребенком я никогда не запрещала ему общаться инициатива не общаться самого папы. На вопрос сына,почему папа с нами не живет и не хочет общается со мной.Сказала правду , что папа не захотел с нами жить так как встретил другую женщину и общаться наверное не хочет (не знаю правильно не правильно,но врать не хочется). У сына было заболевание логоневроз, подлечили сейчас вроде восстановился. Но в последнее время стал,просить давай встретим папу и я у него спрошу, почему он со мной не хочет общаться,А я не знаю,что на это ответить и как поступить,чтоб не навредить ребенку! Мы же его встречаем на улице и рано или поздно сын подрастет,его узнает и сопоставит, что это папа и он его раньше видел . И обвинит меня,что я не давала общаться. Может стоит сейчас ему позволить спросить,пусть папа сам ответит на этот вопрос.