ребенок 2 года не любит маму

Здравствуйте. Так получилось, что сына я воспитываю одна. Папа приезжает 2 раза в неделю, когда может. Поэтому ребенок находится со мной 24 часа. И конечно воспитываю его только я, наказываю тоже я. Сына никогда не била, но крикнуть могу. Проблема в том, что ребенок на мой врпрос любит ли он маму всегда говорит нет. Он не обнимает, не целует меня. Но как только приезжает папа, то начинаютсч и обнимашки и поцелуи. И сын говорит, что хочет жить с папой. Что мне делать? Может я неправильно себя веду, но если не наказывать и все разрешать это тоже плохо. Помогите, пожалуйста.