会盟结束之后，唐俭与酋长们一一告别。这个时候的突利可汗的想法发生了微妙的变化，如果大唐天佐是草原上的大可汗，突利仍然是二可汗，而大唐天子远在中原，这是不是意味着草原上实际的主人就是他突利呢？他越想越觉得兴奋，在这种状况下，他也就不希望颉利东山再起了。但许多时候，人越想怎么样，实际上就越不可能怎么样。无论突利可汗多么努力的想把颉利找到立功，可这个家伙就像是钻到了地底下。几乎翻遍了整个草原大漠以及丛林，都没有颉利的踪影。唐俭临行之前对大家说：“务必要在草青马肥之前将颉利找到，如果你们一直不能找到颉利，诸位将军的功劳就会被自己所犯下的过错吞噬。”李靖说：“请你放心，我一定把差事办妥，绝不会让皇上失望。”唐俭满意的走了，因为他相信李靖一定能够找到颉利，从大漠返回的路上，唐俭的心情逐渐从豪迈变成了惶恐。
等他终于到了长安城的脚下，他想到自己一生最风光的时间已经过去了。也许是时候应该收敛锋芒，夹着尾巴过日子了。于是在向皇帝复命之后，连续多日托病没有去跟皇帝下棋。与唐俭下棋每次都输，这就是皇上一直要跟他下棋的原因。因为他相信总有一天自己可以赢唐俭一回。于是在唐俭自称已经病愈之后，终于在一天中午赢了唐俭。唐俭将棋子放下，跪在皇上的面前说：“恭喜皇上，终于把臣赢了，臣的棋力已经不如皇上了。”以往唐俭在跟皇上下棋的时候，从来不掩饰自己的得意。现如今他的身上再难看到那种意气风发的感觉，皇上说：“这一次你从漠北回来，朕感觉你就像是变了一个人，你说朕是应该为你感到高兴呢？还是应该为你感到遗憾呢？”唐俭说：“皇上，皇上钻研棋艺，日进千里，就算超过程也并不让人感到意外。”皇上说：“你知道你在说什么吗？你这分明就是欺君。”
一听这话下了唐俭赶紧跪倒在地，唐俭的反应把皇上反而吓了一跳。以往唐俭每次来都是一副大大咧咧的样子，无论皇上如何暗示他，他似乎都不往心里去。皇上心中十分不解，说：“告诉朕到底发生了什么，你为什么变成了这个样子？”唐俭说：“回皇上的话，在狼居胥山主持会盟仪式，说明臣一生最风光的时候已经过了，《易经》早就教导过我们了，现在已经过了耕种的季节，所以不宜再做加法，而要做减法了。”对于手底下的大臣动这种小心思，皇上是非常反感的。于是说：“你不是喜欢做减法了，那就把你的冠带留下，回去做个平民吧！”唐俭一脸平和的将冠带摘了下来，然后站起来向皇上告别，说：“这几年人几乎将皇宫当成自己家，如今臣变成了百姓，以后再想见到皇上就比登天还难了，愿我们各自珍重，愿天下太平，愿百姓逃生记不再艰难。”然后一步步退了出去。
对眼前的变化，皇上没有心理准备，所以望着唐俭离去的背影皇上一直不敢相信这是真实发生的事情。他脑袋里乱的像是一团浆糊，泪珠像是断线的珠子一样，不停的滚出眼眶。回到后宫，皇后看皇上这副光景，于是说：“皇上这是怎么了？”皇上说：“朕免了唐俭的官职，让他回去做百姓了。”皇后笑着说：“你把唐俭的官职免了，将来谁跟你下棋呢？”皇上说：“朕已经在棋盘上胜过他了。”皇后说：“这件事恐怕没这么简单，自从他与你下棋，就从来没有失过手，为什么会突然输给你呢？”皇上说：“难道朕的情谊就不能进步吗？”皇后说：“皇上曾经常年争战，对于这样的道理，应该不难明白，一个人如果实力不济，遇到天才永远没有机会。”皇上说：“你把他比作天才，把朕比作蠢才。”
皇后说：“皇上可曾记得做工的匠人是如何评价你们几张弓的吗？尺有所短、寸有所长。一个人如果能够成为一名圣君，就不可能在棋艺或者什么别的领域有大成，反过来一位圣君，绝不可能花费大部分的精力去钻研于一艺。因为只要那么一干，就荒废了天子应该做的事。”皇上说：“那好吧！就算你说的对。”唐俭在返京之后迅速的被削去了官职，这件事给漠北的人带来极大的震撼。他们都以为在这次会盟当中，唐俭的表现可圈可点。李世勣说：“这件事我真的如传闻中所说的那样吗？因为唐俭输了棋，皇上觉得他们不用，就免了他所有的官职？”李靖捋着胡须说：“把这件事忘了吧！”李世勣说：“让我不议论这件事很容易，我是担心他给大漠的人带来不好的影响，会不会觉得皇上这个人不可信，会不会因此而想起来那个反复无常的颉利可汗。”
说到这里，李靖也沉默了。空气似乎也一下子凝固了，过了很久，李靖终于说：“放心吧！其实有什么不好的影响，我们也能够应对，就算是我们的应对，出了什么问题，政事堂的人一定会有办法化解即将出现的危机。”果然如同李世勣所预料的那样，大漠一时间人心惶惶。突利可汗说：“制史回去之后迅速的被免去了官职，真的是传闻中所说的原因吗？”底下一位幕僚说：“可汗，我觉得事情不会想我们所以为的那样，制史去职完全是他自己的缘故，并非皇上在为难他。”从前在离开长安之前，悄悄的去拜会了孙思邈。午夜时分，馆驿的一间上房之内，唐俭与孙思邈一边品茶一边聊天，唐俭说：“外人很难想象我与孙师父竟然有交情，外人都以为我是个弄臣，靠着下棋接近皇上，骗取功名，现如今我把这些东西都还给了皇上，你说天下人还会议论我吗？”孙思邈说：“许多东西的取舍不取决于你自己而取决于天命。”
唐俭说：“我之所以这么说，就是为了顺应天命。”孙思邈说：“天道与人道不同，天道是万物总纲，是万物运行之原力。而人是万物之一，处于万物之中，受万物影响，却不能等同于万物。天道是恒定的，没有增加，也没有减少，而人道则不然，时刻都有分离聚合，时刻都有生老病死。所以人生在世，必定要求富贵求功名。”听到这话从孙思邈的口中说出来，实在是让唐俭感到有些诧异，孙思邈说：“和尚和道士都是修行之人，这就好比道观和寺庙都是供奉神仙和佛菩萨的地方，可不同的道观和寺庙贫富也不同。道观和寺庙都有贫富之分，都有等级之序，又怎么能指望所谓修行之人不受贫富和等级的影响呢？人若想超脱人道归于天道，只有一种办法，就是化作青烟、驾鹤西去。”
唐俭说：“天道是统御人道的，这种没有问题吧！”孙思邈说：“在天道之中，九州不过是一粒灰尘，人生在世不过是一个瞬间而已。他们看起来是如此的渺小，如此的不起眼。而人道则不仁，每个生命的诞生和消失都是大事。”唐俭说：“人道难道不是从天道而来吗？”孙思邈说：“老子说过，人法地，地法天，天法道，道法自然。由此可见天比地要大，地比人要大。天是全局，地是一域。相比于人地又是全局，而人是一域。”唐俭拱手说：“没想到你这个老道说的话跟我以为你会说的话完全不同。”孙思邈说：“不过你能懂得盛极而衰的道理，这很好。鲜花总有败的一天，青草总有枯的一天。你能够急流勇退、明哲保身，说明你是一个非常聪明的人。只不过一个很聪明的人往往也很难压抑自己内心的需求，有于需求有时候就是煮在锅里的沸水，经常把锅盖掀掉，然后溢出去害人害己。”
唐俭说：“如此看来你不是很看好我日后的生活。”孙思邈叹口气说：“摊开一张白纸，如果上面点上一个墨点，所有人注意的就不是白纸，而是墨点。其实生活中人也是这样的，你所注意到的永远是那么一点，而大片的空白被你忽视掉了。当有一天几乎满纸都是黑色的时候，残存的那么一点，留白又成了你梦魂萦绕的所在。于是你就发现人经常处于轮回之中，当他寂寞的时候，热闹就在世界的另一头朝他招手。当他各种热闹恭维的时候，却又与彼岸的寂寞互相抛媚眼。我之所以要说这些，就是要告诉你，现实与你的想象永远有一段距离，至少有50%的差距。”唐俭耷拉着脑袋，一下子陷入了巨大的迷茫之中。孙思邈进一步说：“有迷惑不要紧，回去之后可以慢慢想，只是你要提醒自己，有些东西一旦做了就不能再回头，否则就是给自己招祸。”