天兴初，徵还京师。后与崔逞答司马德宗将郗恢书失旨，黜衮为尚书令史。衮遇创业之始，以有才谟见任，率心奉上，不顾嫌疑。太祖曾问南州人于衮。衮与卢溥州里，数谈荐之。又衮未尝与崔逞相见，闻风称美。及中山平，卢溥聚党为逆，崔逞答书不允，并乖本言，故忿之。
衮年过七十，阖门守静，手执经书，刊定乖失。爱好人物，善诱无倦，士类以此高之。永兴二年疾笃，上疏曰：「臣既庸人，志无殊操，值太祖诞膺期运，天地始开，参戎氛雾之初，驰驱革命之会，托翼邓林，寄鳞溟海，遂荷恩宠，荣兼出内。陛下龙飞九五，仍参顾问，曾无微诚，尘山露海。今旧疾弥留，气力虚顿，天罚有罪，将填沟壑。然犬马恋主，敢不尽言。方今中夏虽平，九域未一，西有不宾之羌，南有逆命之虏，岷蜀殊风，辽海异教。虽天挺明圣，拨乱乘时，而因几抚会，实须经略。介焉易失，功在人谋。伏愿恢崇睿道，克广德心，使揖让与干戈并陈，文德与武功俱运，则太平之化，康哉之美，复隆于今，不独前世。昔子囊将终，寄言城郢；荀偃辞唅，遗恨在齐。臣虽暗劣，敢忘前志，魂而有灵，结草泉壤。」后数日卒，年七十二。后世祖追录旧勋，遣大鸿胪即墓策赠太保，谥曰文康公。
子温，外都大官、广宁太守。卒。
子贰兴，昌黎太守。
温弟楷，州主簿。
子诞，有学尚，性尤雅直。初与高允同时被徵，后除中书侍郎、通直散骑常侍、建威将军。赐爵容城子。
衮次子度，少有志尚，袭爵临渭侯。上谷太守，入为武昌王师。加散骑常侍，除使持节，都督幽州广阳、安乐二郡诸军事，平东将军，崎城镇都大将。又转和龙镇都大将。所在着称。还朝为中都大官。卒，赠征东大将军、冀州刺史，谥康侯。
子陵，袭爵。后为赤城典作都将。卒。
子状，袭。为中散。卒。
子法，袭。太和中，例降为伯。世宗时，除怀荒镇金城戍将。
陵弟延，散骑常侍、左将军、库部尚书。赐爵永宁侯。
延弟白泽，年十一，遭母忧，居丧以孝闻。世祖闻而嘉之。长而好学博通，敏于当世。高宗初，除中散，迁殿中曹给事中，甚见宠任，参预机密。
后蠕蠕犯塞，显祖引见群臣议之。尚书仆射元目辰进曰：「若车驾亲行，恐京师危惧，不如持重，固守自安。虏悬军深入，粮无继运，以臣量之，自退不久，遣将追击，破之必矣。」白泽曰：「陛下钦明则天，比踪前圣，而蠢尔荒愚，轻犯王略。寇乃颠沛于远图，我将宴安于近毒，仰惟神略，则不然矣。今若銮蕴亲动，贼必望麾崩散，宁容仰挫神兵，坐而纵敌；万乘之尊，婴城自守，进失可乘之机，退非无前之义？惟陛下留神。」显祖从之，遂大破虏众。
白泽本字钟葵，显祖赐名白泽，纳其女为嫔。出行雍州刺史，清心少欲，吏民安之。显祖诏诸监临之官，所监治受羊一口、酒一斛者，罪至大辟，与者以从坐论。纠告得尚书已下罪状者，各随所纠官轻重而授之。白泽上表谏曰：「伏见诏书，禁尚书以下受礼者刑身，纠之者代职。伏惟三载考绩，黜陟幽明，斯乃不易之令轨，百王之通式。今之都曹，古之公卿也，皆翊扶万几，赞徽百揆，风化藉此而平，治道由兹而穆。且周之下士，尚有代耕，况皇朝贵仕，而服勤无报，岂所谓祖袭尧舜，宪章文武者乎？羊酒之罚，若行不已，臣恐奸人窥望，忠臣懈节。而欲使事静民安，治清务简，至于委任责成，下民难辩。如臣愚量，请依律令旧法，稽同前典，班禄酬廉，首去乱群，常刑无赦。苟能如此，则升平之轨，期月可望，刑措之风，三年必致矣。」显祖纳之。
太和初，怀州民伊祁苟初三十余人谋反，将杀刺史。文明太后欲尽诛一城之民。白泽谏曰：「臣闻上天爱物之生，明王重民之命，故杀一人而取天下，仁者不为。且《周书》父子兄弟，罪不相及，今群凶肆虐，轘烈诛尽，合城无辜，奈何极辟？不诬十室，而况一州？或有忠焉，或有仁者，若淫刑滥及，杀忠与仁，斯乃西伯所以叹息于九侯，孔子所以回轮于河上。伏惟圣德昭明殷鉴，水镜前礼，止迅烈之怒，抑雷霆之威，则溥天知幸矣。昔厉防民口，卒灭宗姬；文听舆颂，终摧强楚。愿不以人废言，留神省察。」太后从之。转散骑常侍，迁殿中尚书。
太和五年卒。诏赐帛一千匹、粟三千石，遣侍御史营护丧事，册赠镇南将军、相州刺史、广平公，谥曰简。
长子伦，字天念。年十余岁，入侍左右。稍迁护军长史、员外常侍，转大司农少卿、燕州大中正。熙平中，蠕蠕主丑奴遣使来朝，抗敌国之书，不修臣敬。朝议将依汉答匈奴故事，遣使报之。伦表曰：
臣闻古之圣王，疆理物土，辨章要甸，荒遐之俗，政所不及。故《礼》有壹见之文，《书》着羁縻之事。太祖以神武之姿，圣明之略，经略帝图，日有不暇，遂令竖子游魂一方，亦由中国多虞，急诸华而缓夷狄也。高祖光宅土中，业隆卜世，赫雷霆之威，振熊罴之旅，方役南辕，未遑北伐。昔旧京烽起，虏使在郊，主上按剑，玺书不出。世宗运筹帷幄，开境扬旌，衣裳所及，舟车万里。于时丑类款关，上亦述尊遗志。今大明临朝，泽及行苇，国富兵强，能言率职。何惮而为之，何求而行此？往日萧衍通敬求和，以诚肃未纯，抑而不许。先帝弃戎于前，陛下交夷于后，无乃上乖高祖之心，下违世宗之意。
且虏虽慕德，亦来观我。惧之以强，傥即归附，示之以弱，窥觎或起，《春秋》所谓「以我卜也」。又小人难近，夷狄无亲，疏之则怨，狎之则侮，其所由来久矣。是以高祖、世宗知其若此，来既莫逆，去又不追。不一之义，于是乎在。必其委贽玉帛之辰，屈膝蕃方之礼，则可丰其劳贿，籍以珍物。至于王人远役，衔命虏庭，优以匹敌之尊，加之相望之宠，恐徒生虏慢，无益圣朝。假令选众而举，使乎称职，资郦生之辩，骋终军之辞，凭轼下齐，长缨击越。苟异曩时，犹为不愿，而况极之以隆崇，申之以宴好，臣虽下愚，辄敢固执？
若事不获已，应颁制诏，示其上下之仪；宰臣致书，讽以归顺之道。若听受忠诲，明我话言，则万乘之盛不失位于域中，天子之声必笼罩于无外。脱或未从，焉能损益，徐舞干戚以招之，敷文德而怀远。如迷心不已，或肆犬羊，则当命辛李之将，勒卫霍之师，荡定云沙，扫清逋孽；饮马瀚海之滨，镂石燕然之上，开都护，置戊己，斯亦陛下之高功，不世之盛事。如思按甲养民，务农安边之术，经国之防，岂可以戎夷兼并，而遽亏典制？将取笑于当时，贻丑于来叶。昔文公请隧，襄后有言；荆庄问鼎，王孙是抑。以古方今，窃为陛下不取。又陛下方欲礼神岷渎，致礼衡山，登稽岭，窥苍梧，而反与夷虏之君，酋渠之长，结昆弟之忻，抗分庭之义，将何以瞰文命之遐景，迹重华之高风者哉？臣以为报使甚失如彼，不报甚得如此。愿留须臾之听，察愚臣之言。
不从。
出为后将军、肆州刺史。还朝，除燕州大中正。孝庄初，迁太常少卿，不拜，转大司农卿。卒官。
伦弟恩，奉朝请，员外郎。
白泽弟库，瀛州刺史、宜阳侯。
库长子兰，累迁龙骧将军，行光州事。
兰弟修虎，都牧、驾部二曹给事中，上谷公，司农少卿。奉使柔玄，察民疾苦。迁平北将军、燕州刺史。
度弟太，平西将军、荆州刺史、俎阳侯。
太弟那，宁远将军、雍城镇将。
崔玄伯，清河东武城人也，名犯高祖庙讳，魏司空林六世孙也。祖悦，仕石虎，官至司徒左长史、关内侯。父潜，仕慕容暐，为黄门侍郎。并有才学之称。玄伯少有隽才，号曰冀州神童。
苻融牧冀州，虚心礼敬，拜阳平公侍郎，领冀州从事，管征东记室。出总庶事，入为宾友，众务修理，处断无滞。苻坚闻而奇之，徵为太子舍人。辞以母疾不就，左迁着作佐郎。苻丕牧冀州，为征东功曹。太原郝轩，世名知人，称玄伯有王佐之才，近代所未有也。坚亡，避难于齐鲁之间，为丁零翟钊及司马昌明叛将张愿所留絷。郝轩叹曰：「斯人而遇斯时，不因扶摇之势，而与雀飞沉，岂不惜哉！」慕容垂以为吏部郎、尚书左丞、高阳内史。所历着称，立身雅正，与世不群，虽在兵乱，犹励志笃学，不以资产为意，妻子不免饥寒。