Боится родственника

Моей дочке 3 года. У нас такая проблема. Дочка очень боится нашего родственника (зять мужа), прямо до истерики. Это проявляется в том, что он обращается к ней, подшучивает и дразнит, а она сразу в плач. Этот родственник очень состоятельный, но неадекватный. Он часто ругается на свою жену, рабочих, своего ребенка. Моя дочь не раз видела, как он на кого-то кричит, как он отчитывал меня или мужа (например, за то что я ем их еду, когда в гостях (а не свою, звучит странно, правда?), он в шутку пытался на нее наехать на детском квадрацикле и т.д., то есть причины бояться есть. Но родственники мужа считают, что я настраиваю против него дочку. Я настаиваю на том, что бы ограничить контакт ребенка с этим человеком, то есть не ходить к ним в гости. Но они часто нас приглашают. Правильно ли я поступаю, что отказываюсь от общения с ними (мой разговор с этим зятем никчему не привел, он говорит это «ваше воспитание»)? Ведь я не могу внушить дочери что он «добрый», если она его считает «злым и сердитым» (ее слова).