避嫌这东西 - 是事实，但当事人可以不在乎，这不是啥道德问题，就是当事人自己的取舍而已。所以如果当事人没兴趣避嫌，当然可以不避。

但上面这说法只是对单身的人有效。对于结婚了的，这就涉及到另一半的感受了。

会介意自己的另一半，单独和异性约饭，这在世界的哪一处，估计都是很正常的（不是说必须介意，而是楼主这样的介意肯定是属于正常的，大家认为合理的范畴）。