Что я делаю не так

Брат мужа отсидел приличный срок. Не буду писать за что.
Сейчас он живет в доме матери, не работает, выпивает. Может и крепко напиться. Свекра уже нет, он умер несколько лет назад.
Свекровь пару раз ночевала у нас, но после того, как сынок чуть не поджег дом, она перестала оставаться на ночевки.
Когда родственничек напивается и буянит, то успокаивать его идет мой муж, случаются и драки.

Но бывает, что он не пьет и тогда свекровь просит отправить к ней детей в гости с ночевкой. Я не отпускаю, свекровь обижается. Я не считаю, что девочкам подросткам подходящая компания дядя с уголовным прошлым. Да и девочки идти не хотят, говорят, что боятся его шуток и внимания, хотя бабушку любят.
Я не против, чтобы свекровь общалась с внучками, но на нашей территории. Если нужно что-то помочь, то мы идем вместе или они идут с папой и вместе возвращаются домой.
Свекровь обижается, говорит, что теряет связь с детьми, обвиняет меня в том, что я сильно фантазирую и настраиваю мужа против брата. А я не фантазирую и не настраиваю. Я просто запретила ему появляться в нашем доме в наше отсутствие. Возможно, он после тюрьмы стал очень хорошим человеком, чего не скажешь по его поступкам, но я не хочу чтобы случилась какая-нибудь беда, о чем я потом буду жалеть всю жизнь.
Муж тоже против таких походов в гости с ночевками.
Лучше перебдеть. Или я что-то делаю не так?