塩谷氏と世耕氏に離党勧告検討、政治生命に影響も