Как наладить контакт с ребенком 5 лет

Добрый день.
Прошу помощи.
Я мать-одиночка. Моему сыну почти 6 лет.
Часто болеет. Сад пропускает. Я 5 дней в неделю провожу на работе, чтобы содержать себя и ребенка. В моё отсутствие с сыном находятся по очереди мои родители (им уже за 70 лет).
Последнее время ребенок на меня озлоблен, лезет драться и кричит. Возмущается по любому поводу. Сегодня было последней каплей то. что он сказал, перед тем, как я уходила на работу (он опять заболел и уже 4 дня находится дома) :«Я хочу чтобы ты ушла и никогда больше не приходила домой! Я не люблю тебя! Ты плохая мама», отвернулся и ушел в комнату, хлопнув дверью так, что аж побелка посыпалась с потолка...
Я пытаюсь понять, что я делаю не так... Я могу, конечно же, порой накричать на него. Могу дать по попе. Но ребенок всегда накормлен, одет, выслушан мною... Я не хочу сейчас жаловаться, насколько мне тяжело... Я хочу попросить совета: каким образом погасить агрессию ребенка? Как?
Мне кажется, что это всё из-за того, что я работаю, смертельно устаю, не обзавелась другим мужчиной (ребенок не видит уважения к маме и любви, так как нет в общем-то семьи...), не в состоянии дать ему больше (развлечений, не могу нанять ему няню, доп.занятий в силу нехватки денег и того. что он часто болеет)... Всё своё время вне работы я уделяю сыну. Даже готовить приноровилась по ночам, что бы ему было больше внимания, как советовала мне психолог, к которой я когда-то обращалась. но это нереально! Уделять ВСЁ своё время вне работы ребёнку! Но я очень стараюсь. Я пробовала обижаться на его поведение, естественно всё объясняю ему. Он не избалован. В общем, что можете посоветовать?