「敷居が高い」は「とっつきにくい」という意味ではなく、「不義理をしたから行きにくい」という意味やで。