既婚の男性上司と休日にお出かけする事について、良いか悪いか皆さんの意見をお聞かせください。長文になりますすみません。
私→29歳女性、恋人と同棲中 上司→52歳男性、既婚者、小学生のお子様がいます

上司と私はとても気が合い仕事に対する意識も近く、反対の意見で衝突しても本音で話し合い解決していけるような関係性で、上司も私の事を仕事の良きパートナーとして扱ってくれます。
仕事面だけでなく雑談や私生活の話もお互いに楽しんでいる状況です。

以前から上司にはご飯や飲みに誘われていて私が断っていました。（既婚の男性と2人で食事に行くのは世間体的に良くないと思い）しかし最近仕事が忙しく大事な話をする時間が取れなくなり、恋人に聞いてみるとOKだったので食事に行きました。（恋人にも上司の話はよくしていて良い関係性だというのも理解してくれています）食事に行くと会社では話せない仕事の話も聞くことができて私にとってはメリットの大きい時間でした。
先日上司と休日の話になった際、行きたい場所の話をしていたら連れて行ってくれるとドライブのお誘いを受けました。このお誘いに乗ってもいいものか悩んでいます。

まだ保留にして貰っているのですが私としては行きたい意志があります。尊敬している上司からもっと仕事の話を聞かせて貰いたいのと単純にドライブも好きで目的地にも行きたいです。
恋人にも話してみたらその上司ならOKとの事でした。

もちろん上司のご家族に迷惑をかける事は許されないので、ご家族にも話は通して貰うよう伝え、奥様からも許可を頂いたそうです。
（上司の奥様やお子様からは部下として認識して頂いているようで、上司を通してプレゼントを頂いたり私からも贈ったりお手紙の交換をしたりもしています）

私が悩んでいる理由としては、友人に反対された事。そして客観的に見て男性上司と女性部下が休日に出掛けるという状況は世間体が良くなくリスクが大きいという2点です。
同性の親友に話した所いくら仲が良くても既婚の異性の上司と2人で休日に出かけるのは危ないという意見でした。
友人の言っている事も十分理解できます。

批判肯定何でも大丈夫ですので、皆さんの意見をお聞かせ頂きたいです。