Уйти или остаться?

Добрый день!
У меня такая ситуация – была замужем 11 лет, развелась, от брака дочь – сейчас ей 12. Три года после развода жили с ней вдвоем. Сейчас 4 месяца живу с мужчиной. Дочь категорически его не воспринимает, ушла жить к бабушке с дедушкой. Никакие уговоры, просьбы, не помогают, чтобы вернуть ее.
Сейчас я сама на распутье – что мне делать. Уйти от мужчины и жить с дочерью, либо успокоиться и оставить жить дочь у бабушки с дедушкой, параллельно пытаться ее вернуть?
Тут еще один момент – я сошлась с мужчиной, который ушел из семьи, но еще не развелся. Причем сошлись мы с ним через 2 недели после его ухода из семьи. Хотя он и принимал решение об уходе сам, но ситуацию окружающие воспринимают так, будто я его увела. Естественно, сейчас идет притирка, когда стали жить вместе, и периодически от своего мужчины я слышу фразу (когда он не в настроении, или в сомнениях каких-то), не хочу ли я уйти домой, пару раз, выпив, говорил мне – собирай вещи. После этого извиняется, говорит, что не хотел, хочет, чтобы мы жили вместе – и все равно эти реплики периодически пробиваются. Я же не могу полностью доверять человеку, предполагая, что рано или поздно он скажет это серьезно и не будет извиняться. Уйти от такого человека?