胡因夢的第一任丈夫是李敖。他們的婚姻始於1980年，但僅維持了三個月，原因是李敖的控制欲和胡因夢的獨立自主性格之間的衝突。李敖希望妻子每天待在家裡等他，而胡因夢則不願意放棄自己的翻譯與寫作工作，即使她已經退出影壇。