兵部尚书罗由论过“陵邑制”的必要性后，话风一转，却说到现在“陵邑制”不可行。这个转变有点大，让在座者都有点意外，便是皇帝也没有想到。
罗由道：“陛下，王莽失德，天下大乱，盗贼蜂起，各地豪门大户为求自保，纷纷筑造坞壁，修缮甲兵，招募丁壮，小者聚众百余，大者胜兵数千。彼等代行官府威权，维持地方治安，百姓争相依附，使其势力益张。每一家豪强都是一方之霸，官府亦不能制。伪帝刘秀当年欲大行屯田，尚受豪强之制，何况陛下要将彼等迁走，令其弃田地祖宗之业？陛下，天下方定，人心未服，若遽行陵邑之事，恐怕豪强复起，天下复乱，危及社稷。”
宋弘起身道：“陛下，如今天下初定，百姓皆欲归田耕作，士卒疲于作战，万不可再动刀兵。臣以为，陵邑之事当缓行，请陛下孰思之。”
宋弘是朝中德高望重的大臣，他一发话，立即有人随声附和。
皇帝看了看尚书令郑深，问道：“郑公，你看呢？”
郑深不仅位高权重，而且深得皇帝信任，可是今天竟一直没有说话，直等到皇帝点名，才站起来，微微垂首道：“陛下英明睿智，深谋远虑，必知强弱之事，缓急之理。况此等大事，行之必震动天下，便是朝堂上议之，亦将使人心不安。如何决断，还请陛下圣裁。”
说完他就坐了回去，再不发一言。
这话其实说了当没说，根本没个态度。想必皇帝不甚满意，在众臣都退下时，找了个借口把郑深留了下来。
皇帝把闲人都赶走了，只有君臣两人对坐，皇帝说道：“子渊，你方才的话没说清楚，现在就你我二人，不管你说什么，出你口入我耳，再不会有第三人知晓，你说说看，这陵邑之事能不能推行。”
郑深起身拜倒，说道：“陛下，陵邑之事不仅不可行，现在连提都不能提！”
“哦？这是为何？”
“陛下创业，仰仗的是流民，刘秀却不然，他乃是靠豪强起家，自要对其有所回护，久而久之，致使关东豪强坐大，关东之豪强比之关中强过太多，乡野之民，皆受豪强庇护，唯其马首是瞻。如今陛下初入关东，郡县长官刚刚就任，郡县之治理要靠当地豪门大户帮衬，否则难免政令难行。如今最重要之事当属尽快让各郡之治回到正轨，使关东之民知陛下之恩，服陛下之德，惧陛下之威，遵陛下之法。如今陛下尚无恩德于关东之民，却先要夺豪门大户祖宗之业，彼等必定群起反抗陛下。陛下即便身为皇帝，麾下有百万之兵，亦不可与全天下人作对。”
皇帝道：“先不论其能不能施行，以子渊看来，陵邑制到底当不当行？”
“当行！”郑深回答得十分确定，“汉之盛世，多赖陵邑制之功。若任由豪强坐大，恐日后不能制之，汉室江山不稳。只是此时人心思定，陛下要先定天下人之心，切不可提及此事，以免生乱。”
“朕就是要提！”皇帝忽然笑了，“朕就是要实行陵邑，或许不是现在，但这是早晚的事。”
郑深抬头看着皇帝，“陛下早早说出来，是试探么？”
“差不多，把风先吹起来看。”皇帝道：“抑制豪强不可一蹴而就，大汉行陵邑制百余年，方可有所成就，然而一旦废之，不过百年便豪强遍地。富者田连阡陌，贫者无立锥之地，朝廷威权不行，百姓得不到公理正义。朕也知与天下豪强相争，其难度不下于与刘秀争天下，但朕若不为此事，那与向豪强低头的刘秀有什么区别？或许当年朕一走了之，不做这个皇帝，任由刘秀一统天下，他也能开创一个中兴盛世？如果与他一样，那朕为何要与他相争，让天下人多受这几年战乱之苦？朕既然从刘秀手中抢到了天下，自然要比他多做一些，自然要比他做得更好，让这天下烙上朕的烙印，让百姓得到朕的恩泽，让后人提起朕，便可说一声，多亏了那个放牛皇帝，大汉才能传下十世百世千万世，汉人才能不论贫富都有田种，都有饭吃，都有书可读。朕才二十多岁，往后的日子长着，要做的事多着，如今想恢复陵邑制，这第一件事便搁浅了，往后的那些事更别提了，所以朕是一定要做下去的。”
郑深第一次听皇帝说出这种肺腑之言，不禁大为动容，伏地拜道：“陛下，恕臣直言，陛下若要做圣君，臣亦想做名臣，臣虽然老朽，却愿在有生之年追随陛下，为大汉多做些事。”
“好，朕就等子渊这一句话！”皇帝扶起他，说道：“眼下陵邑制像是一座高山，不可猝然登顶，但只要一步步向上攀，总有到达山顶的一天。虽然眼下郡县之治要仰赖豪强，但朕以为不可去求着他们，由着他们的性子，而是要恩威并施，绝不能惯着他们。首先得给他们立规矩，让他们知道厉害，当然这要把握好尺度，不能一下子把人逼急了。肉要一刀一刀地削，每一刀都要下好，最好是让他们接受起来难受，但是还可以承受。。。子渊，你帮朕好好谋划谋划。”
皇帝与郑深商谈良久，郑深辞去。
第二天，去渭水以北察看建陵之地的将作大匠杨音回来了，入宫向皇帝禀报陵墓选址之事。说完这事儿之后，杨音忽道：“听说陛下欲恢复陵邑制，迁徙关东豪强，臣激动得没睡好觉。陛下若能做成此事，真是为百姓谋福了！”
“杨太傅何出此言呢？”皇帝有些意外，没想到杨音竟