被相続人の財産と無関係になるために相続放棄をしたのだから、相続財産の管理責任からも解放されると思われるかもしれません。

しかし、相続放棄をしたからといって、相続財産の管理責任から解放されるわけではないのです。

民法940条1項
相続放棄をした者は、その放棄によって相続人となった者が相続財産の管理を始めることができるまで、自己の財産におけるのと同一の注意をもって、その財産の管理を継続しなければならない。

つまり相続放棄をした人は、財産の管理者が現れるまでは引き続き管理し続けなければなりません。

建物が古くなって崩れたり、火事が起きたりすると近隣に損害を与え、管理者である相続放棄をした人が損害賠償の義務を負う可能性もあるので、建物をずっと放っておくのも不安が残ります。

これでは何のために相続放棄をしたのか分かりません。

財産管理人が現れないのなら、相続放棄をした人が利害関係人として、相続財産管理人の選任申立をすることができます。相続財産管理人が家庭裁判所から選任されれば、相続財産の管理責任は相続放棄した人から相続財産管理人に引き継がれることになるので、管理義務から解放されます。

しかし、ここには大きな問題があります。
相続財産管理人の選任を申し立てる際、裁判所に予納金を納める必要があります。予納金の金額は、事案の複雑性や財産などにもよりますが、30万円～100万円くらいといわれています。不動産を売却するなどして財産が残ったら、申立人に予納金は返還されますが、結局予納金は自己負担になってしまう可能性が高いでしょう。

そのため相続財産に資産価値がない建物がある場合は、相続放棄をしたとしても悩ましい問題が残ってしまいます。