Можем ли мы подать встречный иск на незаконную самозастройку

Добрый День. Собираемся строить дом, участок садовое товарищество, есть межевание участка, участок в собственности, подготовили проект. Отступили на 1 метр от межи с соседями. От предыдущего хозяина соседского участка было получено письменное разрешение на строительство в непосредственной близости. Новый хозяин достроил разваливающийся домик , добавил стену (прошло около 3х лет с момента постройки) и строение получилось на расстоянии 30 см от межи — разрешения мы им на данную постройку не давали. Новые Соседи с началом наших строительных работ начали мешать строительству и возмущаться, требуют чтоб мы отступили 3 метра, но в таком случае нужно будет полностью менять проект дома, к тому же мы уже затратили некую сумму на данный проект разметку и земельные работы. Стоит ли опасаться, и могут ли они заставить нас снести уже построенный дом? В таком случае можем ли мы подать на них встречный иск на незаконную самозастройку?