Проблемы с внуком

Здравствуйте!
У меня замечательный внук 4 - х лет, немного о семье.
Внук живет с дочерью и затем у меня бывает на выходных в сад только пойдет , а так сидит с няней полдня потом с зятем(он его укладывает спать дочь с работы приходит вечером), я внука люблю безумно.
Проблема в том, что когда мы не в двоем а при посторонних людях он плохо относится комне на пример, дочь с затем уехали отдыхать а Мармт приболел я привезлаврача (у нас семейый доктор) и когда мы уже собролись уходить внук при няне и врачеговорит:
- доктор вы уходите?
- да
- досвидания всего хорошего Вам.
- а ты бабуля уходиш?
- да, я иди на работу, а ты что то хотел?
- да, что бы ты ушла.
Я жутко растроилась, врач просто был в шоке, и таких случаев бывает масса. Когда мы вдвоем все хорошо он говорит бабуличка я тебя люблю и все замечательно.
дочь говорит , что это ерунда не забивай голову перерастет, но мне обидно до слез , что мой внук меня не любит.
Заранее благодарю за любую помощь.
С уважением Валентина.