狩野は14年に一般女性と離婚しており、16年には“二股疑惑”が浮上