Два отца

Добрый день. Ситуация в нашей семье следующая: Около трех лет назад я развелась с мужем, у нас есть общий ребенок. В воспитании ребенка отец участия не принимал, ни при жизни в семье, ни после развода. Большее, что он делал это забирал ребенка из детского сада и около часа сидел с ним на ковре и смотрел, как он играет в машинки. Проявления отцовства с его стороны не было. В 2016 году, я познакомилась с мужчиной, который через 4 месяца забрал меня и моего сына в другой город, где мы сейчас и проживаем. Спустя две недели, ребенок начал называть моего гражданского мужа папой, проявлять к нему чувства любви (целовать, обнимать и т.д.). В связи с этим я запретила бывшему мужу видеться с сыном, дабы не травмировать психику ребенка «простым присутствием» биологического отца.В последствии бывший муж и сам уже не так часто стал просить встречи с ребенком. Я бы хотела спросить, правильны ли с моей стороны данные действия? Ребенок ,кстати, не помнит родного отца. Не спрашивает и не говорит о нем. Ребенку сейчас 5 лет (с моим гражданским мужем он в проживает с возраста 4-х лет). На мой взгляд встреча с родным отцом может нанести психологическую травму ребенку, он не поймет почему вдруг два папы, когда папа всегда рядом, а тут появился еще кто-то.
Помогите пожалуйста . Заранее огромное спасибо за ответ.