В первую очередь - не должны пострадать интересы соседа за стеной - изоляция от внешней среды, строительные конструкции. А потом действовать исходя из того, как дом фигурирует в документах.

дом деревянный, 5 стен, планируем убрать свою половину в итоге у соседа остается 4 полноценные стены