霍显还大建住宅，制造乘坐的辇车，增加饰有图案的绣花坐垫、把手，并涂饰黄金，又用皮裹着丝絮包住车轮，侍从婢女用五彩的丝带拉着显所乘坐的车，在住宅中游戏取乐。
当初，霍光宠爱家奴总管冯子都，常同他商量事情，等到显守寡独居时，她便和冯子都明目张胆的私通。
上梁不正下梁歪，霍禹、霍山，也学了霍显的坏样，淫*纵无度。
霍云正在少年，整日不办公事，只是携带家丁门客，问柳寻花，东闯西撞。
霍禹的姊妹，仗着母家声势，任意出入太后皇后两宫。
霍禹更过分，自己出去玩，还让一个家奴上朝替代他。
主子作恶，奴才更猖獗。
霍家和魏家两家的家奴在街上相遇，堵在那里，霍家的家奴动手就打，一直打到御史府里，还大叫着要揍死他们。闹得魏相亲自出来给霍家家奴道歉，还让自家的家奴给人家磕头谢罪，才算了是。有人把此事报告给了皇上，皇上虽然没明说谁对谁错，但却在不久就把魏相提拔为丞相。
所谓物必自腐，然后虫生。
恼了的魏相，密上一本参折，还恐此折被霍禹抹然不报，乃托许广汉亲自面递宣帝。宣帝接来一看，只见上面写的是：臣闻《春秋》讥世卿，恶宋三世为大夫，及鲁季孙之专权，皆足危乱国家。自微元以来，禄去王室，政由冢宰。今大将军霍光已殁，子禹复为右将军，兄孙山，亦入秉枢机；昆弟诸婿，各据权势，分任兵官。夫人显及诸女，皆通藉长信宫，或夤夜呼门出入。骄奢放纵，恐渐不制。宜有以损夺其权，破散阴谋，以固万世之基，全功臣之世，国家幸甚！臣等幸甚！
宣帝看完此折，长叹道：“霍氏不法，朕已深知。一则因念霍光前功，二则须看太后面上，所以暂时姑容。现既弄得**人怨，朕也不敢以私废公了。”
霍家作恶，臣子上书，有理又有据，一直隐而不发的汉宣帝开始行动了。
第一步汉宣帝加封自己的老岳丈夫为平恩候，册封他和许平君的儿子刘奭为皇太子。断了霍家的念头。大汉江山不会有你霍氏血脉。
第二步宣布丞相可以在罢朝期间随时晋见皇上，皇上的老丈人许广汉也可以随时出入朝中。霍山虽领尚书事，皇上却下令官民有事可以不用通过尚书，单独就可以晋见皇上。
明摆着，汉宣帝想要削弱霍家的权势。
皇上的意思摆在这儿，大臣岂不明了，于是霍山就成了一个摆设。
第三步长安下了一场很大的冰雹，一个叫萧望之的低级官吏趁机上书说，此乃大臣当政、一姓专权所致。此言正中汉宣帝下怀，他便任命萧望之为谒者，让他以“广延贤良”的名义大举征用民间的人才，实际上就是培植自己的干部队伍和**势力。
第四步以架空、调任、免职等手段将霍氏集团的人全都排挤出权力中心、并解除了京畿兵权。霍光的女婿范明友原任度辽将军、未央宫卫尉，被汉宣帝收回了将军印绶，调任了一个虚职——光禄勋。光禄任少雄为未央宫卫尉，名义上是降官了，但这更贴近皇帝，保护皇帝安全，互通有无。二女婿中郎将、羽林监任胜被调出京畿，任边远的安定太守。这地方很远，远得他从来不曾听说过。