Измены

Здравствуйте! Встречаюсь с молодым человеком 4 года.(но не полностью, часто расставались-сходились).Сейчас уже пол года живем вместе.
Я много знаю о его прошлом, знаю с кем он встречался, кого любил, а с кем был просто секс. До совместной жизни был примерно такой сценарий: мы встречаемся, у нас все хорошо, он заявляет обо мне как о своей любимой девушке, но потом спустя месяц-два я замечаю что он холодеет. Случается следующее- он может допустим пожелать мне спокойной ночи, а на следующий день просто исчезнуть на месяц, а потом появиться как ни в чем не бывало))
Я делала вид что меня это абсолютно не беспокоит и не задевает. В общем, странная у нас любовь была))
В то время как он исчезал он общался с другой девушкой.
Сейчас все это в прошлом, мы живем вместе, не изменяем друг другу, развиваемся в плане отношений. НО. Всё это прошлое никак не даёт мне покоя, мне постоянно кажется что он кого-то нашёл, кем-то заинтересовался(не потому что я не уверенна в себе). На фоне этого у нас возникают ссоры. Он говорит что это бред жить прошлым, что он не дает поводов.
Я стараюсь справиться с этим чувством, но я не могу быть уверенной в нём. Я очень хочу это исправить, т.к. проблема в моей голове.