Он хочет, но не может со МНОЙ

Нам обоим около 30, здоровые, симпатичные, у каждого семья. Вместе 4-ый год. Два из них были просто коллегами и друзьями. Меня всё устраивало, его вроде бы тоже, т.к. особой инициативы к сближению не проявлял. Так обнимал-целовал, но откровенно не приставал и не настаивал. Бывали в уединенной обстановке. Я воспринимала его больше как друга, чем как любовника, но ему об этом не говорила.
В один прекрасный момент нежные поцелуи зашли дальше обычного и я почувствовала просто запредельное желание, он понял, предложил продолжить... Разумеется я согласилась. В тот вечер немного выпили шапманского. Раздела его и обомлела - эрекция нулевая! Промучались полночи - кое-как завела его - так, чтобы смог войти, вошел, пара минут, кончил. Как могла успокоила его - ну наверно шампанское, и первый раз, и всё такое, ну бывает... Он настоял на встрече на след день. Встретились, тоже самое и на вторую ночь. Признался, что считал меня более холодной женщиной, и просто ошеломлен с какой чудесной стороны я ему открылась. Короче, безумно влюбился. Да и отношение ко мне резко изменилось в лучшую сторону, практически на руках носил. Но в сексе всё оставалось как в первый раз - т.е. никак. Эрекция практически нулевая. С моей же стороны - наоборот, заводилась от одних поцелуев, хотя с мужем возбуждаюсь не быстро и не так сильно. На сексе он начал настаивать, и если долго не получалось встретиться - психовал. Но сценарий каждый раз был одинаков. На вопрос - бывало ли у него такое раньше, говорит, что нет, что с женой всё нормально, с др. женщинами было тоже всё ОК. Однажды сказал, что наверно это от его отношения ко мне, из-за любви получается... Спрашивала, что не так - говорил, что всё отлично, как женщина очень нравлюсь, очень хочет, что никто его больше не интересует и не привлекает.
Так прошел год, к настоящему времени любовь уже явно подугасла, отношения испортились, видимся крайне редко, т.к. я ушла с этой работы. Он и раньше бывал импульсивным и раздражительным, а сейчас и того хуже. Предлагала стать просто друзьями - он воспринял это почти как оскорбление. Недавно встретились - долго болтали, он не проявлял секс. интереса, думала так и уйдет, но нет начал целовать-раздевать - и как всегда нулевая эрекция.
Понимаю, что надо расстаться, но не могу из-за сильной привязанности. 4 года-срок не малый. Он тоже скучает, подолгу не звонит, но потом не выдерживает - приезжает. Часто ссоримся из-за ничего или просто «упражняемся в остроумии», вроде бы шутя, но в каждой шутке - только доля шутки...
Я понимаю, что отношения уже не спасти, просто хочу понять действительно ли так бывает, что есть психологическое стремление к сексу с конкретной женщиной, но нет физиологического?