高橋遥人、鯉との再戦に「つらい記憶ばかり」