究。蜀王杨秀获罪，隋文帝下令杨素、苏威、牛弘、柳述、赵绰共同审理此案。
天子兴修长城，苏威劝告隋炀帝停止大兴劳役，高熲、贺若弼等被杀，苏威因受株连，被免去官职，过了一年多，又任鲁郡太守，不久召他还京，参预朝政。这年随隋炀帝征讨吐谷浑，升任左光禄大夫，因为苏威是前朝旧臣，逐渐委以重用，一年多后，恢复纳言官职。与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，当时称他们为“五贵”。
到辽东之役时，苏威以本职兼任左武卫大将军，升任光禄大夫，赐宁陵侯爵位，这一年，晋封房公。苏威因自己年老，上表请求退休，隋炀帝不允许，又让他以本官兼掌选举之事，第二年，随隋炀帝征讨辽东，任右御卫大将军。
杨玄感造反，隋炀帝把苏威请到军帐中，面有惧怕之色，对苏威说：“这个小孩很聪明，怎能不成为国家的忧患呢？”苏威说：“那些明辨是非、审视成功的人，才是聪明人。杨玄感粗鄙简单，不是聪明人，不必为他忧虑。但是这恐怕会成为出现祸乱的开头。”苏威见天下劳役不息，百姓思乱，略微用这些话讽喻隋炀帝，隋炀帝却并不因此领悟。
隋炀帝回到涿郡，下诏苏威安抚关中，任命苏威的孙子尚辇直长苏儇为副使，他的儿子鸿胪少卿苏夔，之前担任关中主管人事任命的重要官职，一家三人，都奉命出使关中，关中三辅的人都引以为荣。隋炀帝亲下手诏说：“玉石因为光洁玉润，涂描不能改变它的性质，松挺拔于寒冬，霜雪不能减弱它的光彩，这就是所谓的温仁与劲直，这是本性如此吧。房国公苏威，气质襟怀温良宽宏，见识博雅气度宏大，早年在朝廷中担任重要职位，熟悉国家的典章制度，是先皇帝的旧臣，朝廷的老前辈。他是国家的栋梁，辅佐我十分辛勤，遵守法律法规，自谦以遵守礼仪。过去汉朝有三杰，辅佐惠帝的是萧何。周朝有治理能臣十人，辅佐成王的是邵公奭。国家的宝贝，在于得到贤人，参预治理国家，他们是星光和台阶，可供人们作为依据。虽有涉及争论的事情，最终总会澄清，衡量时事事物，仍为朝廷为要，可让他任开府仪同三司，其余官爵不变。”苏威当时被尊重的程度，大臣中无人可与他相比。
隋炀帝巡幸雁门，被突厥包围，情况十分危急，想以轻骑突破重围出去，苏威劝告说：“守住城池我们有余力，轻骑突进是敌方所擅长，陛下是万乘之主，怎能轻易冒进？”炀帝于是作罢，所幸突厥不久也解围离去。隋炀帝车驾到太原，苏威对他说：“盗贼不止，士兵马匹极度疲惫，希望陛下回到京城，巩固朝廷加强国力，谋划朝廷社稷大事。”隋炀帝本来认可他的意见，最后却又听从宇文述等人的提议，去了东都洛阳。
天下大乱，苏威知道隋炀帝不可改变，心中很担忧，刚好隋炀帝问侍臣有关盗贼的事，宇文述说：“盗贼的确很少，不足为虑。”苏威不会说假话，于是便藏到宫殿柱子后面，隋炀帝问苏威的意见，苏威说：“我不管这事，不知盗贼多少，只担心他们越来越近。”隋炀帝说：“怎么讲？”苏威说：“盗贼以前占据长白山，近在荥阳、汜水一带。”隋炀帝不高兴，便不再问了。不久，适逢五月初五，百官献礼，多献珍宝奇玩，苏威献上一部《尚书》，旨在劝诫隋炀帝，炀帝更加不满，后来又问他讨伐辽东之事，苏威说，希望能赦免群聚的盗贼，让他们讨伐高丽，隋炀帝因此更加恼怒。
御史大夫裴蕴明白隋炀帝心意，让白衣张行本告苏威往日在高阳郡主持选拔官员时，滥授别人官职，又说他害怕突厥，请求回到京师，隋炀帝下令调查这些事。案件议定之后，隋炀帝下诏说：“苏威生性热衷于朋党，好为异端，心中怀揣旁门左道，贪图名利，污蔑国家法令，诽谤朝廷官员。多年征伐外国，是为了尊奉先皇的遗志。凡有