一人でご飯食べに行った＝一人でご飯を食べに行ったという意味です
そこに「一人で寂しいので誘ってください」の意図は一切ないです