斎藤佑樹さん、二軍でも浮いた存在になっていた