霍成君在这后又数次召太子到椒房殿赐食，但自从有了第一次不愉快的经历后，刘奭在椒房殿愈发显得木讷愚笨，王意借口太子身体不好，所以身边随侍的阿保和乳母竟然加了一倍有余，十多人围着一个孩子团团转不说，最夸张的是每次刘奭吃东西都改成了由阿保负责喂食，而阿保们的习惯总是在喂食前将食物有意无意地先放进嘴裏嚼一下。
这样的举动虽然做得很低调，似乎并没有其他用意，但落在霍成君这个有心之人眼中，当然能领会到这样做的真正用意。她连试了几次，发现太子的阿保防范得无懈可击，就连刘奭喝口水都会有人抢着先尝，她根本没有机会往任何食物里投毒。
而就在霍成君在后宫想方设法要投毒谋害刘奭的同时，朝堂上也是风云迭起，五月廿九，丞相韦贤以自己年老多病为由主动提出辞官回乡，自汉高祖起至今一百四十年，历代丞相均死于任上，从未出现辞官先例，至此，韦贤当属第一人。
韦贤提出辞呈后，皇帝很快便准了他的请求，另赐黄金一百斤，用驷马俺车将韦贤送回了老家。六月初七，擢升魏相为丞相，邴吉为御史大夫。
九月十九发生地震，十月皇帝借此下诏要休止战事，与民休息，所以解散了车骑将军张安世、右将军霍禹手中的戍边衞队。同时又下诏将至今没有使用过的皇家禁苑水田鱼池，全部开放给贫民使用；郡国在京都的官邸不许再花钱整修；各地流民如果回归乡里，由政府出田地，借贷种子，而且不算田赋，也不再征杂役。
皇室力求俭朴，然而霍氏却依然骄奢跋扈成性，霍家扩建宅第，甚至违制建造乘舆车辇。据传太夫人霍显所乘的车辇内用锦绣作垫，外用黄金当壁，就连车轮也是用皮革锦絮包裹，车行如履平地，连一丝震动都没有。这样的车并不用牛马牲畜驾驭，而是让侍婢用五彩绸带挽车，霍显与府中的监奴冯殷通奸，时常坐在这样的车辇上，在堪比皇宫的霍宅内游戏。
霍家的奢靡以霍显为首，霍禹、霍山也不落其后，两人经常在平乐馆跑马玩乐，而霍云更不像话，五日一次的朝请，那么重要的朝会时刻，他却与宾客去黄山苑狩猎，借口自己生病，只派了家中的一名苍头代替自己点卯，出席朝会。
魏相未做丞相前，霍家的奴仆一度和魏家的奴婢因为驾车争道发生争执，霍家的奴仆仗势欺人，竟直接冲进御史府，甚至要踹破魏相家的大门，最后竟逼得魏相跪下叩头谢罪，方才骂骂咧咧地离去。
魏相做了丞相后，日益受到倚重，霍家的势力正在无形中一点点地被削弱。皇帝先将霍光的五女婿度辽将军、未央衞尉、平陵侯范明友调任为光禄勋；二女婿诸吏、中郎将、羽林监任胜外放至安定郡当太守。
几个月后，又把霍光姐姐的女婿给事中、光禄大夫张朔外放至蜀郡当太守，孙女婿中郎将王汉外放至武威郡当太守。
之后没多久，再次调任霍光二女婿长乐衞尉邓广汉为少府，到八月十四，罢免张安世车骑将军兵权，改任衞将军，掌管两宫衞尉、城门、北军兵属。
擢升霍禹为大司马——然而这个大司马却有名无实，霍禹仍旧戴原来的小冠，没有任何印绶，但却被收回了原有的兵权，只留下一个他父亲霍光的“大司马”空衔。
随后，皇帝甚至收回了范明友度辽将军的印绶，只让他当光禄勋；霍光的四女婿赵平本来兼散骑、骑都尉、光禄大夫，皇帝收了赵平骑都尉的印绶。但凡在以前胡骑、越骑、羽林骑以及两宫衞生将中领兵的霍氏子弟，全部被调离，改由皇帝所亲信的外戚许氏、史氏子弟代之。
随着霍家势力的逐步被剥离，许、史两家的子弟却在飞速地壮大，许广汉的两个弟弟——许舜封博望侯，许延寿封乐成侯。史恭三子——长子史高任侍中，封乐陵侯，史曾封将陵侯，史玄封平台侯。
不仅许、史两家得势，皇帝寻访生母王家多年，终于在涿郡找到了自己的外祖母。刘病已将外祖母接入长安，一同抵京的还有刘病已的两个舅舅王无故和王武。
皇帝当即封两位舅舅为关内侯，赏赐钜万。
“我原是涿郡蠡吾平乡人，十四岁嫁给了同乡的王更得，婚后没多久，王更得就死了，后来我又嫁到了涿郡广望县，夫君名叫王逎始。我一共生了二子一女，你的母亲王翁嬃是我最疼爱的小女儿。那时家里实在穷，翁嬃到八九岁上寄养在广望节侯刘忠之子刘仲卿府上。刘仲卿对你外祖父说，让我们把翁嬃给他，由他负责养活成人。于是翁嬃就留在刘仲卿家里学歌舞，我给她做了春夏的禅衣送去，她也曾回来取过冬衣。就这样过了四五年，有天翁嬃突然回家来告诉我，说邯郸有个叫贾长儿的来买会歌舞的女子，刘仲卿打算把她给人。我一听就急了，偷偷带着女儿逃到了平乡躲了起来，后来刘仲卿找到了我夫君逎始，四处派人找我们，我很害怕，只得带着翁嬃回到广望。但当初我并没有收取一钱，我没卖女儿，他岂能擅自将我女儿给人？刘仲卿当即向我保证不会发生这样的事，可没想到没过几天，我在家门口眼睁睁地看着翁嬃坐在贾长儿的车上被带走了，翁嬃在车上哭喊求救，我和王逎始二人一路追赶，从柳宿追到了中山卢奴，本想一路尾随到邯郸，可结果身上的钱财用尽，再也无力追赶，就此我和女儿失去联系……”
王媪本名妄人，这个皮肤黝黑，长相精瘦的老妇人打从坐着黄牛车进入长安起，便成了长安上至官僚，下至百姓议论谈笑的话题。面对自己素未谋面的天子外孙，王媪虽然紧张，但说话依旧条理分明。下派到广望县调查取证的官吏找到了广望三老、刘仲卿的妻子，贾长儿的妻子共计四十五位人证。终于将王翁嬃一生坎坷的经历给断断续续地接补上了。
贾长儿的妻子供认，二十多年前，曾有太子舍人侯明从长安到邯郸来买歌舞姬，当时挑走了包括王翁嬃在内的五名女子，贾长儿让歌舞师将她们五人送到长安，入了太子宫。
皇帝主动认了门卑微的穷亲戚，这让霍成君很是不能接受，她没法放下身段把那个瘦得像丝瓜一样的老妇人当成自己的外祖母一样侍奉；王无故和王武两个更是怎么看都是个乡下种田的泥腿子，即使穿上在华丽的衣裳，他们身上散发的仍只有俗不可耐的粗鲁。
但是这样的一家子，刘病已却重中之重，到了第二年的二月，他又赐外祖母封号为博平君，将博平，蠡吾两县共计一万一千户划作了她的汤沐邑；封舅舅无故为平昌侯，王武为乐昌侯，每人各食邑六千户。
王家的神奇崛起不但令满朝文武感到不可思议，更让一向教宗跋扈、唯我独尊的霍家气得跳脚。
霍禹心中不服，索性赌气称病不上朝。霍禹一带头，霍山自也不甘落后，满腹牢骚尽数发了出来：“现在魏相当权，皇帝信他，居然将大将军在时的法令全部更改了。把公田赋予贫民，到处宣扬大将军的过失，现在京城有许多儒生都是穷人子弟，远道而来客居长安，整日衣食不饱，却喜欢口出狂言，不避忌讳，大将军曾对这些人忌恨如仇，可现在陛下却喜欢和他们结交，还鼓励他们上书答对政事，结果这帮儒生尽扯我们家的事。曾有人上书说大将军在时，主弱臣强，专制擅权，如今其子孙当权，兄弟更加骄横恣事，恐危及宗庙。还说什么现在天灾不断，都是因为这个缘故……”
霍山的话惹来霍禹更加不满的情绪，他冷哼一声，眼中满是桀骜不驯的傲气。
霍山又说：“我当时把这类的奏书全压了下来，可现在不行了，人人都学会了用密书揍事，我们根本没法预先看到裏面的内容，陛下会派中书令直接将这些密封的奏书取走，朝政之事根本不用再通过尚书来决策——总之一句话，陛下越来越不相信我们了！”
霍显虽然不懂政治谋略，但她心机重，心眼多，转而问道：“魏相总是说我们家不好，难道他就没犯过错吗？”