开皇七年四月，苏威转任吏部尚书，开皇八年八月，河北诸州发生饥荒，亦是苏威负责赈济，同时兼任国子祭酒。
隋朝在战乱之后建国，法令规章杂乱混杂，隋文帝杨坚在开皇元年修订法律之后，苏威不时对其中条款提出异议，于是在开皇三年，隋文帝杨坚再次命令朝臣修订法律，作为一朝通用的典章制度，法令的标准、样式，大多是苏威制定的，世人都认为他有才能。
开皇九年，苏威拜受尚书右仆射，这一年，苏威因母亲亡故而离职，守孝期间他因悲伤骨瘦如柴，隋文帝杨坚也是告谕苏威说道：“你品德高于常人，感情特别深厚，孝顺之道，就如同屈尊下从一般，必须抑制悲哀，为国家爱惜自己，我对于你来说，是君主，也等同于父亲，你应当按照我的旨意，依礼保全自己…。”
不久之后，隋文帝杨坚下令重新启用苏威主事，他坚持推辞，直到杨坚下诏安慰不许推辞。
开皇十年，隋文帝杨坚巡幸并州，下令他与高颎一起留守京城总理诸事，不久之后，又把苏威召到自己的行辕所在，让他处理民间诉讼，苏威上奏请求设置五百个家乡正，并建议废除郡制，虽然与李德林因此发生争执，但是得到了高颎的支持，他的建议皆被隋文帝杨坚所采纳。
而苏威的儿子苏夔，在年少之时，就有盛名于天下，招引门客，天下的名士大多附和于他，开皇十二年，因为讨论音乐的问题，苏夔与国子博士何妥，都坚持自己的观点，各成一家之言，于是朝廷让文武百官表示，他们赞同哪一种意见，朝臣大多依附苏威，赞同苏夔的占了十分之八九。
何妥知道之后，愤怒的说道：“我读书四十多年，反被一个毛头小儿所屈辱…！”
于是奏告苏威与礼部尚书卢恺、吏部侍郎薛道衡、尚书右丞王弘、考功侍郎李同和等人一起结成朋党，在官衙中称呼王弘为世子，称李同和为小叔，意思是他们就如同苏威的儿子和兄弟，又说苏威用不正当手段让他的堂兄弟苏彻、苏肃等人作假当官，还有国子学请荡阴人王孝逸为书学博士，苏威的下属卢恺，引荐王孝逸做苏威府中的参军。
事后，隋文帝杨坚命蜀王杨秀、上柱国虞庆则等人全面调查，所指控诸事皆被证明，于是，隋文帝杨坚让苏威《宋书·谢晦传》中朋党事件的部分，苏威惶恐畏惧，摘下帽子叩首。
没成想，隋文帝杨坚在这一点，有着很强的执念，只听他说道：“已经晚了…。”于是免去苏威所有的官职，以开府的身份放还家中。知名之士中有一百多人，受到苏威的牵连而获罪。
不久之后，隋文帝杨坚在朝堂上，有意无意的说起过，苏威是有德行的人，只是被人牵连了。
短短月余时间，就重新让他恢复官职，开皇十四年七月，恢复了苏威邳国公的爵位，担任纳言，苏威随从天子祭祀泰山，因为不敬又一次被免官，但是很快官复原职，隋文帝杨坚对群臣说道：“人们说苏威伪装清廉，其实家中金银无数，这是毫无根据的瞎话，但他生性乖僻，不明白世事关键，追求名声太急切，顺从他的就喜欢，违背他的就发怒，这是他的大缺点…！”
开皇十五年，苏威奉命持节巡抚江南，可以随机处置事务，过会稽时，翻越了五岭才回到京城。