政治风云变幻,世事翻覆莫测。崇宁四年(1105年)暮春,赵挺之始除尚书右仆射兼中书侍郎。六月,“(因)与(蔡)京争权,屡陈其恶,且请去位避之”,遂引疾乞罢右仆射(《宋史?赵挺之传》)。仅仅过了半年多,崇宁五年(1106年)二月,蔡京罢相,赵挺之复授尚书右仆射兼中书侍郎。与此同时,朝廷毁《元祐党人碑》,继而大赦天下,解除一切党人之禁,李格非等“并令吏部与监庙差遣”(《续资治通鉴拾补》卷二十六),李清照也得以返归汴京与赵明诚团聚。但是,宋徽宗大观元年(1107年)正月,蔡京又复相,无情的政治灾难又降到了赵氏一家头上。三月,赵挺之被罢右仆射后五日病卒。卒后三日,即被蔡京诬陷。家属、亲戚在京者被捕入狱,因无事实,七月狱具,不久即获释。但赵挺之赠官却被追夺,其子的荫封之官亦因而丢失,赵家亦难以继续留居京师。李清照只好随赵氏一家回到在青州的私第,开始了屏居乡里的生活。