непростая ситуация

Здравствуйте! Очень нужен совет специалиста.
Мой муж не пьет,не курит,порядочный и скромный человек.Чудесный семьянин.Замужем четыре года,мужу 34,мне 32.
Два родных старших брата - пьяницы,своих семей у них нет,живут с родителями.Родители же тоже неблагополучные.В доме постоянная дымовая завеса,брань,драки - обстановка соответствующая.Ни у кого нет даже среднего(!)образования.У мужа же высшее.Даже не верится,что Сергей(муж)их сын.Такой случай - большая редкость.
Родителей своих муж стесняется.Меня с ними он познакомил за неделю до свадьбы.Позже он признался,что боялся.Он знал,что узнав это на начальной стадии отношений,встречаться с ним я бы не стала.Это бы отпугнуло любую порядочную девушку.
А теперь самая главная проблема и боль.
Муж оградил меня от общения со своими родственниками.Два года я их не слышу и не вижу.
У нас подрастает дочь.Девочка очень развита,ей скоро три года,и уже начинаются вопросы...На мне лежит ответственность...Страшно..Боюсь совершить непоправимую ошибку.Как лучше поступить? Естественно,родители мужа спрашивают и хотят видеть единственную внучку.
Два года общения нет совсем.Муж меня отлично понимает,но какие бы они не были - он все-равно их любит,так как они родители.На меня он не давит,и тему сам не поднимает,но ему очень больно в душе.И он признался,что в итоге будет так,как решу я.Без моего согласия,за моей спиной он дочку возить не будет.
Так хочется оградить дочку от грязи,ведь ее и так немало в округе.Она сейчас все впитывает как губка.Сказать,что родители мужа живут далеко...?Потом,когда она вырастет сама все увидит,и поймет меня.Или все же от встреч раз в два месяца ничего ужасного не случится..?Естественно,не у них дома(муж сам категорически против) Боюсь потом,дочка может меня упрекнуть...Буду выглядеть монстром: папа бедный,а я такая властная и авторитарная.Жестокая.
Муж меня отлично понимает и поддерживает.Он сам не знает,как лучше поступить.Они хотят ее просто иногда видеть.Но это же не фотография.Все-равно будет общение. А там такое...!!!Не буду описывать подробно...Просто стыдно.Но их не переделаешь. Помогите,пожалуйста,советом! В ближайшее время нужно определиться как будет лучше для дочки.Заранее огромное спасибо за помощь!!!!!!!