実害がないなら〜　の言い回し

実害って何？精神的な不快感等も十分実害なんだけど。この言い回しする奴らって暴言吐かれても気にしないメンタルなの？人の心無いの？