維新・鈴木宗男氏、訪ロ見送り「諸般の事情で行けなくなった」