李佑，李恪，李愔三人直接被金吾卫给拉着带了下去，随后李世民也是生气的退了朝，跟着李世民就让长孙无忌去查李佑的事情。
不过，查是查到了，仅仅查到了李佑的那位滕妾确实是府兵之后，其他的就没有查到，至于李恪说的那位余嫦嫦的师兄，连尸体都没有找到，这件事情最后也就不了了之。
但是就在这个时候，以岑文本为首的一些关于开始参李佑，李恪，李愔三人藐视朝堂，希望李世民将三人逐出长安，以儆效尤。
李世民一看，哎呦，这还正好是一个理由，跟着就直接下旨，李佑，李恪，李愔三人因为藐视朝堂，被剥夺一级，跟着直接要求回给自的封地。
李愔回自己的益州，这个益州，也就是今天四川一带，在唐朝时可绝对不是什么香饽饽，“扬一益二”的说法还得等到安史之乱以后。
此时的益州，又句话就是蜀地难，蜀地自古地势天险，古时候交通又不发达，想想当初唐高祖李渊私下许诺唐太宗要改立他为太子时就曾说过，要将李建成改封在蜀地，原因就是“地既僻小易制。若不能事汝，亦易取耳”，可见蜀地在唐初时候人们的心中是怎样一种存在了。
至于李恪他回安州，这个安州比益州要好一些，但是李恪兄弟俩的封地论地理位置的重要性连李恽的襄州都比不上安州与襄州同在湖北地区，历史上这个地区素来以襄州为重，唐朝也不例外，李孝恭平江南萧铣时担任的就是襄州总管（襄州道行台左仆射）的官职。
事实就是李恪李愔的封地连李恽都比不上，更不能与李慎三人相提并论了。
这就侧面的说明了此时李恪和李愔兄弟得处境，至于李佑就更惨了，剥夺两坊所有权，剥夺了虎贲卫的所有权，直接就像流放一样，让李佑前往登州，成为登州刺史，连一个都督都不给。
唐朝的时候，州的长官称为刺史，相当于现在的高官，刺史下设司马，属于闲职，没有什么权利，都督权利更大，可管辖数州，相当于现在的军区司令，也就是说李佑的权利只在登州，李恪的权利在安州，李愔的权利在益州。
三个人没有其他的权利，这是一种悲哀呀！
两天之后，李佑，李恪，李愔三人从牢中被放出，李世民在牢门前下旨，让三人在天黑之前，必须离开长安，带上自己所有的东西，如果天黑之前不离开长安，就要被驱逐。
这是一点面子都不准备给自己的三个儿子去留呀。
甚至三个人连看望一下自己母妃的时间都没有，杨妃和阴妃两位苦命的母亲这次相互抱暖的在一起哭了起来，李佑，李恪，李愔三人听完了圣旨之后也是露出了惨然的笑容。
“两位就此拜别了，不知道下次见面是什么时候，但是我们都还活着，就一定会再次相见的。”
李佑率先对着李恪和李愔拱拱手。
“五弟你要好好的发展登州呀，我还等着和你一起去遨游大海呢！”李恪笑着看向李佑。
“我也是，对了，五哥，你说过我们益州的蜀锦不错，我回去就会开始蜀锦的提高，到那个时候你要将我的蜀锦都给收走呀！”说完，李愔对着李佑一个拱手。
李佑呵呵一笑：“没问题，三哥，六弟，告辞!”
“告辞！”李恪，李愔也是一个拱手，随后两辆马车分道而驰，等李佑到底了敦化坊的时候，敦化坊中已经是哭声一片了，所有的敦化坊百姓都舍不得李佑离开，但是李佑却不得不离开。
权芷溪，春娘，薛仁贵等人已经将一起都打理好了，薛仁贵这次带着自己的一师跟着李佑离开长安，虎贲卫的二师，三师还留在长安，有了他们，李佑才会放心的离开长安，要不然李佑可不放心敦化坊和青龙坊的百姓。
而跟着李佑离开的除了虎贲卫一师五千人还有这些人的家人和李佑在敦化坊的冶铁处和建房处的人，一共大约有五千人，也就是说这次跟着李佑离开的大约有一万人。
也只有李佑拥有这样的财力，可以带着一万人离开长安，要是其他人就不行了，李恪和李愔顶多带个上千人，李佑这次带万人离开的时候，长孙无忌本来是要阻止的，他是想要将一切都给留下来。
不过，这个时候，李治发了狠，他在一次遇到长孙无忌的时候用凶狠的眼神看着长孙无忌希望长孙无忌不要斩草除根，不然他会向自己的父皇进言长孙无忌的可怕。
这让长孙无忌有些忌惮，他不想自己的形象在李世民和李治的心中崩塌，所以最后还是没有选择斩草除根，但是长孙无忌不知道的是。
李治并没有像长孙无忌想的那么简单，李治在随后的时间中，几乎都会悄悄的不经意的说着一些长孙无忌的坏话。
一开始李世民对长孙无忌是真的无比的信任，要知道李世民对长孙无忌的信任主要取决于两点：一是早在李世民做秦王甚至更早李渊起兵反隋地时候，长孙无忌就已经开始跟随在李世民左右了。后来则一直跟随李世民经历“玄武门之变”登上皇位之后，受封国公之爵位，同时身居要职。
二是长孙无忌的妹妹长孙无忧正是李世民的皇后，长孙皇后可以说是一代贤后，二人之间还有十分亲密的姻亲关系，而且在李治出生之后，李世民又早早地将其立为太子，长孙无忌没有可以生二心和争权的理由。再加上李世民的用人风格也一向都是“用人不疑”，所以，自始至终李世民都应该没有对长孙无忌升起过防范之心，这从他把长孙无忌列为“二十四功臣”的第一位这件事中，便可以看出端倪。
但是李世民老了，后面的李世民也是多疑了起来，再加上李治一直都的不遗余力说着长孙无忌的坏话，最终李世民还是对着自己的这位心腹，用了一明一暗的两条制约：
一，明：许可长孙无忌清除异己的部分行动（但是对房玄龄这样的老臣还是给予保护的），肯定长孙无忌的托孤大臣身份，并且让褚遂良从旁相助，负责调解无忌和新皇李治的关系，只是褚遂良没有这么干。
很多朋友说是太宗皇帝让褚遂良护着长孙无忌，其实仔细想想是不可能的，长孙无忌是位极人臣，门生故吏遍及朝廷上下，褚遂良是秦王府十八学士褚亮的儿子，换言之是长孙无忌的小字辈，哪有力量去保护长孙无忌，他抱长孙无忌大腿得到保护才对。
如果长孙无忌知进退，褚遂良调和得当，那么高宗李治可以和这位舅舅比较和谐地相处。
二，暗：但是后来高宗年间，长孙无忌的权威却不断提升，严重影响了李治作为皇帝的权威。
这个时候李世民身前所伏下的暗线就启动了，那就是大将李绩，也就是隋唐里所说的徐茂公。长孙无忌权威日盛，但是偏偏有一块领域是他无法企及和掌控的，那就是军队，这也是李世民敢于给长孙无忌托孤的底气所在，而且李世民身前对李绩也有托孤（后来出土的李绩墓志里说起过此事），只是不像长孙无忌那样明着下诏书而已。
长孙无忌是文官，在军队没有什么权威，一旦李治祭出这张牌，而且李绩支持皇帝的话，那长孙无忌就无可奈何了。
事实证明确实如此，在废王立武的政治事件中，李绩对皇帝一句“此陛下家事何须问外人”的话算是表达了军方的态度，一举扭转乾坤，长孙无忌的权势从此日下。
长孙无忌根本就不知道，他的行为会给以后的长孙家带来什么样的灾难，李治和李明达凑在一起之后，就会将自己五哥离开的事情，全部都归咎到长孙无忌的头上。
再看着长孙无忌那高高在上，颐指气使的模样，两人的心中都对长孙无忌没有一点的好感，他们没有时间送自己的五哥，连最后一眼都没有看到，你是不知道两个小家伙的怨念是有多深。
自此之后，李治和李明达看到长孙无忌之后再也没有了笑容，而长孙无忌还后知后觉，认为这两个小家伙只是小孩心性，以后就会好起来。
但是长孙无忌没有想到的的，这两个小孩，一辈子都没有原谅长孙无忌，也不是李治，他在后期还会受到长孙无忌的摧残，所以以至于后面长孙无忌没有了活路，即使这边李佑已经出面帮助长孙无忌求情，但是最终也是没有求下长孙无忌的性命。
毕竟李治对长孙无忌的恨实在是太多了，虽然李佑也对李治说了很多，但是李治却十分的坚定，最后李佑也没有办法，一切都是长孙无忌自己太过的嚣张了。
这也侧面印证了长孙皇后的高瞻远瞩，一开始就不允许长孙无忌权利太大，可是没有想到，终究是功亏一篑。