Наследование части дома после истечения срока вступления в наследство

После смерти жены получил документы в сельсовете — свидетельство о праве на наследство,завещание ее отца на дом и земельный участок в Орловской области, оставила в наследство дом. Жена при жизни не вступила в наследство за 12лет. В завещание написано, что все недвижимое имущество пополам на жену и ее родного брата. Брат тоже не вступил в наследство до сих пор, но после смерти жены угрожает, что это все только его, что поменяет замок и отберет дом и землю и будет претендовать на наследство. У меня трое детей — они наследники тоже тк внуки. Раз жена (дочь его) не вступила в наследство, можно оформить на наших детей (на внуков), но нотариус и адвокат сказали, что дело проигрышное, тк сын его — брат жены теперь единственный наследник дома и земли, поскольку жил с покойным в одной квартире. Но за 15 лет брат жены ни разу не приехал в этот дом, не обрабатывал землю, не вкладывал деньги в ремонт дома и обустройство участка. У меня есть документы подтверждения, что я и жена там находились постоянно, обрабатывали землю. В сельсовете это подтвердили на бумаге и соседи подпишут бумагу об этом. Сейчас мне после смерти жены очень важно не потерять этот дом и землю как дань памяти жене, там все пропитано ею, она своими руками и здоровьем все там обустраивала много лет. У меня есть свидетельство о смерти ее родителей, есть свидетельство о смерти жены, завещание на дом и землю пополам на нее и ее брата. Как нашей семье, мне или детям, вступить в наследство на свою долю? Может ли брат жены лишить нас нашей части? Я не хочу оформлять отказ от наследства