对皇帝诚挚的邀请，高岳当然是——婉言拒绝。
他回复说，臣绝非有沽名卖直的念头，只不过统万城尚未灭，臣还是得留守在抚宁。
很快皇帝的第三次要高岳入京为相的诏书抵达。
高岳继续拒绝。
第四次，皇帝说，你、韦皋的画像已经上了凌烟阁了，和李晟、马燧、段秀实靠着，都在朕的旁侧（德宗年轻时当过天下兵马元帅，画像上了凌烟阁）。
可高岳还是表示，陛下另请高明，不，是另请贤能吧！臣岳如在中枢，未必能尽展所长，平定党项后我便归隐第二故乡兴元府鹿角庄精舍里，以诗书射猎自娱，死后碑文上但写“唐故御营都统长史高岳”即可。
第五次第六次第七次，皇帝的口风越来越焦灼。
最后还是翰林学士卫次公，给皇帝起了个点子，他对李适说：“陛下在位以来，宰相杨炎、窦参、乔琳被处死，常衮、卢杞、萧复、姜公辅、张延赏等左迁废黜，淇侯不想来中书门下平章事，似乎也情有可原。”
“从周你这话什么意思？”皇帝大为不满。
不过卫次公接下来倒说，七次明诏淇侯不来，怕只有密诏才能来。
皇帝一听有理，明诏的话你来我往，打嘴皮官司，迁延很久，可密诏代表的是朕真实不容置疑的想法，不由得高三他不来！
这时翰林院也遭到了大清洗。
吴通玄娶虢王李则之侄女为妾的事情败露，皇帝发怒说，吴这样的翰林学士，居然敢“沾污宗族之女”，还降其为妾，当即远贬，后来怒犹未平，派中官跟进，在驿站里将吴通玄杖杀。
而吴通玄的弟弟吴通微，吓得整日跪在光顺门前待罪，都不敢为死去的亲兄长披麻戴孝。最后还是司马承祯前来求情说项，皇帝便剥夺吴通微的所有官职，罚入道观中为奴。
现在翰林院以韦执谊为承旨，李吉甫、卫次公其后，皇帝暂时还没召其他人进来。
于是皇帝就让卫次公草拟了密诏，急速往抚宁寨送去。
得到了密诏后，高岳反复思索了会儿，就把几位心腹给唤来，坦诚说：“这趟京师，我是不得不去了。”
明怀义急不可耐，“淇侯你必定要当宰相了”
话还没说完，高岳就举起手来，示意他不要再继续，“我唐的宰相难为啊，圣主连续七次下诏，我实在是难以推阻，不然便有轻君的嫌疑。”
说完后，高岳就开始委托，将羌屯托付给谁，将三衙事务托付给谁，将军伍和营垒托付给谁，如此搞得他好像不是准备入京白麻宣下似的，倒像是在托付后事，弄得大家面面相觑，不明所以。
不过高岳心中是有数的，这么多年，他已经深谙应付皇帝的一套了。
所以他有自信，这次依旧能全身而退。
在高岳和班宏起行时，抚宁当地的驿馆来了封信件，高岳拆阅后，就知道妻子云韶又给自己生了个男孩，正要他给娃取个名字。
云韶好像是专门生男的，这已是第三个了！
“名字？而今朝中奸屏斥一空，乾坤清朗，光芒万丈，就起名叫炅好了，字克明。”高岳如此回信道。
他想到，三个儿子一个女儿，怎么也算是家族丰茂了。
前往长安的路途当中，班宏忽然感了风寒，虽然病日渐沉重，可这位萧国公的兴致依旧高涨：他迫不及待地要重新主掌三司国计，并准备营救徐粲，并对张滂实施报复。
然而到了中渭桥时，班宏躺在车中，已口不能言，高岳握住他的手，他脸颊深凹，脸色发赤，歪歪斜斜地用笔，艰难地于一方纸上写了行字，交给高岳手中。
“复按徐粲案，废裴延龄、张滂。”这便是班宏所写的内容。
看来班宏是想要借着平反此案，彻底回复自己的政治信誉，哪怕他的生命已如风前残烛。
班宏注定看不到这一天，返京后第三天，他就在宅第当中病故，皇帝立即下令停朝追封，赠尚书右仆射，谥号为“敬”。
三日后，皇帝于紫宸便殿里单独和高岳问对。
四面没有任何一人在场，连陆贽都不在。
可以说这是皇帝和高岳两人，是在窦参死后，对国家未来政策走向的一场极其重要的交谈。
可交谈虽重要，但并不推心置腹，而是处处充满着你来我往的过招。
原本皇帝是要当面“强迫”高岳接受门下侍郎平章事的任命的，可高岳却率先将班宏遗留下来的纸笺交给皇帝。
“高三，只要卿答应下来，朕即刻诛裴延龄，长流张滂，为徐粲平反。”
谁想高岳半晌后，明确对皇帝说：“窦参已死，如再追索裴、张的罪过，牵涉太广，窃认为全无必要，可让裴继掌度支司，张滂掌盐铁司，苏弁掌户部司，三司分立，方便陛下了解国库虚实。”
皇帝轻咳数声，不让脸上露出表情来，可实际他对高岳的回答很满意。
只要有宰相掌国库，不管是杨炎、李泌还是窦参，都对朕的内库是指手画脚，国库和内库之争不曾停歇，现在裴延龄在出首窦参后，已完全阿附于朕，真是方便使用的时候，朕其实完全不希望再找个处处和朕作对的来替代。
反正现在班宏也去世，皇帝也不怕因此得罪个死人。
“窦参虽罪有应得，可接下来的局面却很棘手，卿试为朕谋之——关东方镇最近明显互相密切接触，似乎是准备为窦参讨说法，卿虽为晁错，可朕绝不为汉景帝。”皇帝的意思是，窦参毕竟是刘玄佐、李纳、吴少诚、田绪这帮人的代理，如这群方镇借着窦参“冤死”的借口，蜂起要来“清君侧”，那么国家危难时，朕也不会出卖高三你的。
可高岳晓得，这不过是皇帝对自己的试探。
“窦参身死，可罪状尚未公布天下，如罪状颁布得好，关东方镇便缺乏起兵的借口了。”
“哦，那朕定窦参谋逆罪，可否？”
“不可。”
“窦参在家宅里供奉蒲草邪神，号曰五兄，日夜祈祷，以此定死罪，可否？”
“也不可。”
“窦参指使二位族子大肆收取贿赂，并交接重镇节帅，如此可否？”
“也不可。”
“那依卿所见？”
“窦参的罪名，就是私通西蕃。”
“可，可窦参实无通藩的罪过，如何叫天下信服呢？”皇帝很是吃惊。