En el terreno personal, la relación que mantuvo con Patrick McDermott, de origen coreano, fue su experiencia más \”desgarradora\”. En 2005, cuando llevaban nueve años juntos, él desapareció en extrañas circunstancias durante una excursión en barco en las costas californianas y once años después fue localizado con vida en la localidad mexicana de Sayulita, cerca de Puerto Vallarta. Diversos medios publicaron entonces que el hombre habría fingido su propia muerte para dejar atrás un pasado repleto de deudas y huir así de sus múltiples acreedores. Cuando su novio apareció, Olivia ya estaba unida al empresario John Easterling, su segundo marido y su gran apoyo hasta el final. Anteriormente la artista estuvo casada entre 1984 y 1995 con Matt Lattanzi, padre de su única hija, Chloe.