小栗旬の浮気報道により破局が噂されていた