隋文帝统治期间，王世充因为军功混到了仪同三司（隋朝分为上开府仪同三司、开府仪同三司、上仪同三司、仪同三司），兵部员外郎。为官期间，王世充经常向朝廷进言，因为他通晓朝廷律法和制度，又具备诡辩的才能，经常利用制度的漏洞来徇私舞弊，文武百官又说不过他，只好在暗地里画圈圈诅咒，因此王世充在朝野的风评并不是特别好。
隋炀帝的性格颇为刚直，眼睛里容不得沙子，王世充善于诡辩的特长刚好成为他晋升的限制因素。从史料也看得出来，隋炀帝登基之后，根本找不到王世充的升官记录，哪怕是亮相的记录也很少。
隋大业六年（610），王世充迁任江都郡丞。
大家可别理解错了，以为江都是隋炀帝的龙兴之地，把王世充安置在这里就是对他的一种重用。事实上，江都郡的一把手是郡守，官居正三品，至于郡丞，另外一种叫法是赞治，专门掌管官府的文书起草工作，可以理解为省委办公厅秘书处的处长，首长的行政秘书。简而言之，很没有地位的存在。
就在这一年，隋炀帝下令营建江都宫，派遣心腹大臣张衡到江都监工。
隋炀帝还是晋王的时候，张衡便跟随在他身旁，谋夺太子之位一事，宇文述是执行人，而张衡才是幕后策划人。隋炀帝做皇帝之后，开始大兴土木，修建汾阳宫时，张衡就劝过他，说这几年上马的工程太多，有一些工程有必要，可还有一些确实劳民伤财，应该引起隋炀帝的重视。