Супруг упрекает моим прошлым

У меня ситуация, как в старинном анекдоте, когда сидят дед с бабкой, и вдруг дед как влепит бабке по лбу ложкой. - Ты что, старый, сдурел? - Да как вспомню, что не девкой взял!...
Вот и у меня так же, только по лбу меня муж не бьет, и про то, что я «не девка» он с самого начала знал.
Есть такая теория - телегония, вроде бы как все партнеры женщины, но особенно самый первый, оставляют в ней генетическую информацию о своем роде и впоследствии женщина производит на свет непойми чьих детей, и не понятно чей род продолжает.
До супруга у меня был парень, с которым я встречалась пять лет, вот его-то он мне периодически и вспоминает. То есть, мне кажется, что он про это вообще все время думает, он вообще любит подумать о плохом, и вот когда негативные эмоции перехлестывают уже через край, тогда он мне и выдает претензию.
Я ему говорю, что ты же с самого начала знал, что у меня был парень, куда же ты смотрел?!
И я, и знающие об этом друзья говорят ему, что назад не вернуть уже ничего, чего же думать об этом и терзать себя и меня?
Он соглашается, сам просил у меня помощи не раз. Говорит, что любит и понимает, что я не виновата ни в чем, это его заморочки, но из головы этого грызущего червяка никуда не деть...
К слову, у его отца было так же, он тоже терроризировал свою жену тем, что она уже была первый раз замужем. Только он такого понятия как телегония видимо не знал.
Подскажите пожалуйста, как помочь мужу перестать думать об этом?