当时南唐人因为后周军在寿春攻城越来越急，又自矜于水战实力，于是大举发动了数目庞大的巨船停泊于濠州和泗州，后周军队处于非常不利的局面。南唐将领林仁肇率领数千余军队，水陆并进，又用数艘载满柴薪的船顺着风势点燃了顺流而下。火船即将焚烧后周的浮桥时，后周的人非常担忧，过了不久风向突然反向，稍稍退却，张永德进军大败。
张永德又在夜间派遣习水性的人埋伏在船下，用铁锁牵连其舟船。唐船不能移动，因此而溺死的非常多，周人因此夺得巨舰数十艘，张永德大胜后解下金带赏赐给那些熟习水性的人。 在距离浮桥十余步的地方，用千余尺的铁索横跨长江，又连结上巨木，自此防备更加牢靠了。不久又大败千余江北岸，得到了数十艘战船，有很多溺死的。朝廷因为张永德的战功而下诏褒奖他。
显德三年(956年)冬天，张永德被提拔为殿前都点检。
显德四年(957年)，张永德在攻克寿州的战役后还朝，被授予检校太尉、镇宁军节度的官职。
显德五年(958年)夏天，契丹入侵边境，周世宗柴荣命张永德率领二万军马抵御了契丹的入侵。张永德跟随周世宗北伐，还军后驻扎在檀渊，被解除兵权，加官检校太尉、同中书门下平章事。 显德六年(959年)，恭帝继位后，张永德被授为忠武军节度使。
建隆元年(960年)，宋太祖赵匡胤继位，张永德被加官侍中，入朝后又授予武胜军节度。进宫拜见宋太祖，被召到后苑，与皇帝畅谈旧事，用巨杯饮酒，太祖每每都用驸马来称呼他。 当时后汉还未被灭，宋太祖私下向他征求策略,张永德说:"后汉的兵力虽少却精悍，加上又有契丹支援，并不易攻取。臣以为应该每年多设置游击军，干扰他们的农事，同时派遣使者和契丹沟通，断绝对他们的支援，便可以攻取后汉。"宋太祖对他的意见深以为然。
太平兴国二年(977年)，宋太宗赵光义继位，张永德奉命来朝，任然受到礼遇，官拜左卫上将军。 太平兴国五年(980年)，因为矫诏售卖秦、陇竹木免去税收的罪名而被降为本卫大将军，但是数月后又官复原职。 太平兴国六年(981年)，进封为邓国公。
雍熙年中，接连知沧、雄、定三州。
端拱元年(988年)，拜为安化军节度使。下诏回朝，为河北两路排阵使，军屯于定州。曾于契丹作战，斩获甚多。 端拱二年(989年)，因母丧而丁忧，却又被夺情起复。 淳化元年(990年)，又代替田重进知镇州。
淳化二年(991年)，改任泰宁军节度兼侍中，判并州兼并代都部署。 自五代时起，用兵多姑息兵士，藩镇放纵部下经营获利。宋初之时，功臣依然维持此陋习。太宗刚刚继位，下诏命群臣奉旨出使时不得运货贩卖以获利，也不得命人到处经营和民众争利。张永德在太原，也曾命亲兵卖茶来获利，甚至出关以走私羊来获利，被转运使王嗣宗告发，罢官为左卫上将军。 至道三年(997年)，宋真宗继位，张永德进封为卫国公。未久，被授予左金吾街仗事的官职。