神田正輝、老衰による意気消沈…仕事も面会も無理な状態に