Вправе ли я не давать ребёнка отцу, у нас же равные права

Я состою в разводе. От предыдущего брака есть дочь 3,5 г. Бывший муж уехал на постоянное место жительства в другой город. Когда он приезжает в наш город, то забирает дочь в дом своих родителей. В этом доме живёт старший брат мужа, у которого инвалидность по психическому заболеванию (шизофрения). Из-за него в доме очень нервная атмосфера, постоянные крики, скандалы, доходит до рукоприкладства. После посещений этого дома ребёнок плохо спит, нервный. Дошло до того, что дочь отказывается говорить с бабушкой (бывшей свекровью), которая звонит ей по телефону. Кричит \»Боюсь!\» и убегает. Спросила её \»Почему?\». Она сказала, что бабушка громко кричала и напугала её. Я не имею права не давать ребёнка отцу, у нас равные права. Но если он её берёт он ведёт её в тот дом, просто больше некуда. Могу ли я как-то запретить бывать ребёнку в доме свекрови? Ведь он может забирать ребенка без согласия матери. Если Да, то куда нужно идти, к кому обращаться? Ведь ребёнок маленький, чем угодно может всё закончится.