熙宁七年春天，北宋境内遭遇罕见大旱，农田龟裂，粮食绝收，大量饥民被迫离开家园四处流亡。朝堂之上，众多官员趁机向宋神宗进言，纷纷指责王安石推行的“免行钱”等新法加重了民间负担，是导致灾情恶化的原因之一。面对灾情奏报和群臣压力，年轻的宋神宗面露忧虑，甚至开始考虑暂停部分法令。
面对这场危机，王安石展现出他固执的一面。他向神宗进言，认为自然灾害即使在上古尧舜时期也无法完全避免，当前要务是派遣得力官员妥善赈灾安民，而不应动摇变法根本。然而，一幅由监安上门小吏郑侠秘密呈献的《流民图》，彻底改变了局面。这幅生动描绘灾民惨状的画卷，配上郑侠痛陈新法弊病的奏疏，深深触动了神宗的内心。
与此同时，宫廷内部反对变法的声浪达到高潮。曹太皇太后与高太后（即后来的宣仁皇后）在神宗面前声泪俱下，痛斥“王安石乱天下”。在天灾示警、朝臣反对、后宫施压的多重压力下，神宗对变法的信心出现动摇，最终于熙宁七年四月下诏，罢免了王安石的宰相职务，外放为观文殿大学士、知江宁府。值得注意的是，神宗在罢相的同时仍给予其吏部尚书的荣誉衔位，这微妙地体现了皇帝复杂的心态——既迫于压力做出调整，又未完全否定王安石本人。
离开中枢后，王安石并未完全远离朝局。他推荐了吕惠卿接任参知政事，并安排韩绛进入权力核心，以期二人能继续推行新法。起初，吕惠卿与韩绛确实遵循了王安石的既定方略，但权力格局很快发生变化。吕惠卿为巩固自身地位，开始排挤可能威胁自己的人，甚至通过构陷王安石弟弟王安国等方式，试图阻止王安石重返政坛。
察觉到吕惠卿的意图后，韩绛暗中建议神宗重新起用王安石。熙宁八年二月，王安石应召返京，第二次拜相。复相期间，他主持修撰的《三经义》完成，并被加封为尚书左仆射兼门下侍郎，达到仕途的又一个高峰。然而此时的朝局已今非昔比：变法派内部矛盾公开化，保守派势力持续抵制，神宗的支持也不如以往坚决，新法的推行举步维艰。
熙宁九年，接连的打击让王安石心灰意冷。变法事业陷入僵局，而长子王雱的突然病逝更给了他沉重一击。丧子之痛与政治失意交织，这位曾经锐意改革的政治家身心俱疲，多次称病请辞。同年十月，王安石彻底离开宰相之位，以镇南军节度使、同平章事、判江宁府的职衔回到他熟悉的江南。此后虽仍有虚衔封赠，但他已远离权力中心，在江宁（今南京）开始了长达十年的隐居生活。
退居江宁的王安石，在钟山半山园筑室而居，自号“半山老人”。这段时期，他的生活重心从庙堂之争转向学术研究与文人交往。他时常骑驴游赏山水，与高僧谈禅论道，与米芾、李公麟等文人墨客诗词唱和，表面看似闲云野鹤。然而，这位曾经的改革者从未真正忘怀国事。他仍然关注朝局动向，整理自己的学术著作，并对变法得失进行深刻反思。
元丰八年，宋神宗驾崩，哲宗继位，太皇太后高氏垂帘听政。高太后起用司马光为相，全面废除新法，史称“元祐更化”。得知自己倾注心血的新法被逐一废止，隐居江宁的王安石默然无语，据传曾喃喃自语：“亦罢至此乎？”可见其内心深处的痛惜与无奈。次年四月，这位饱受争议的改革家在忧病交加中逝世，葬于半山园，终年六十六岁。
王安石身后的荣辱可谓跌宕起伏。政和三年，宋徽宗追封其为舒王，配享孔庙，给予极高尊荣。然而二十余年后，靖康之变前夕，朝廷又将他的王爵追夺，移出孔庙配享。这种反复不仅折射出北宋后期政局的动荡，也反映了后世对王安石及其变法截然不同的历史评价。从权力巅峰到归隐山林，从锐意革新到默然离世，王安石的一生恰如北宋改革浪潮的缩影，其是非功过至今仍是历史学者探讨的重要课题。
