職場で「今日の業務は終了です」って言われたから「お先に失礼します」って言って帰ろうとしたら「もう帰るの？」って他の人に言われたんだが、じゃあいつなら帰って良いの？仕事もないのに、いつまでもダラダラ残ってるの嫌なんですが。