バイトを断れなかった。理由は相手が機嫌悪くなったりしたら怖いから。どうすれば断れるようになる？