正在这时，只听“嘀、嘀”两声，一辆派克车开进曾家岩公馆。林芷茗往楼下一看，
　　说道：“真巧了，说曹操，曹操到，戴局长来了。”
　　不一会儿，戴笠带着满面笑容走上楼来，一进门，便问道：“你们今天上午到哪里去了，我派人送花来，说你们不在家。”
　　林芷茗忙接过话头：“逛庙会去了。”
　　“逛庙会？你们可好福气呀，我每天就是杂事多，不是你们这般闲适，真是羡慕你们呀！”
　　“戴老板，可别这么说，说到闲适，我们的潘先生可是闲得难受啊，戴老板能否为他谋个职位？”林芷茗把位子挪到戴笠面前。
　　“谋什么职呀，你们只管住在这里，有我戴雨农在，还愁什么生计问题。”戴笠装做不以为然的样子。
　　“戴老板，话可不能这么说，你虽然讲义气让人家住在这里，人家怎么想，这不是寄人篱下吗？如果你真心想帮助他们，倒不如为潘先生谋一好职位。”林芷茗边唱腔边拿调。
　　“谋一好职位，重庆可不好找呀。”戴笠装作有些为难了。
　　潘有声见此，连忙答道：“也不一定要局限在重庆啊。”
　　“如此说来，昆明最好，那边正缺一个战时货物运输局专员。现在战势紧张，缅甸那边有大批的军用物资，每日不断地从缅甸经由昆明进来。”戴笠说完，往胡蝶看了看。
　　没等胡蝶答话，林芷茗插上了：“哎呀，这真是个肥缺，又体面又赚钱，这么好的差事哪里去找！”
　　胡蝶不以为然，心想：昆明离重庆千里迢迢，潘有声此一去不知什么时候能回来一趟，夫妻分居两地，长此下去也不是好事呀。
　　但潘有声心里已动了：这运输专员的确是个好差事，既有名又有利，说不定以后还可以步入政界。想到此，潘有声起身说道：“好吧，我去昆明！”
　　胡蝶有心劝阻，但看到潘有声决心已定，而且戴笠又是一副真诚的样子，也不好再说什么，于是就默默地点了点头。
　　于是，1944年春天，潘有声接到了商人们梦寐以求的专员委任状和滇缅公路的特别通行证。此时，他已经明白了戴笠把他“发配”昆明的真正用意，明知把妻子一人留在重庆，无疑是羊入虎口，可是看着家里两个年幼的孩子和胡蝶白发苍苍的母亲，再想到戴笠的冷酷无情，他只得含泪告别胡蝶，咬着牙外出奔波。
　　后来，戴笠千方百计将胡蝶从日军占领的香港出逃时丢的钻戒、首饰“找”了回来，并将慈禧凤冠上的两颗宝珠赠送给她。一向看重珍宝的胡蝶，对获得两颗价值连城的宝珠欣喜万分，也就半推半就委身于戴笠了。
　　再说孙殿英部西进，蒋介石、何应钦完全赞成，并公布发表他为青海西区屯垦督办。孙的打算是，远离是非之地，独居一隅，扩充势力，养精蓄锐，静观形势，以图日后时机到来，再争天下。孙殿英是这样想，可蒋介石并不让他这样想。
　　孙殿英的盘算，打不过蒋介石，还躲不起？！
　　就在孙部起程离开察哈尔，前往边远的青海的时候，蒋介石已密令宁夏的马鸿逵部予以中途截击，能歼则歼，不能歼则冲散。
　　当孙殿英到达绥远西部的五原、临河、陕坝一带时，他得知马鸿逵部正严阵以待。五原等地，地处河套，粮草颇丰，且东接包头，西通甘、青，是阎锡山的势力范围，阎锡山当然不希望孙部在包头、五原等地长驻，三番五次督促孙部早日西进。到了这进不能进，驻不能驻，退不能退的地步，孙殿英才意识到自己钻进了蒋介石的圈套。
　　不走也不行，阎锡山逼得急，再加上若不到青海去，也是一大罪名，于是孙部继续西进，试图先克宁夏，再作打算。
　　本来，孙殿英如果采纳李锡九、南汉宸（中共党员）的“借道宁夏，长驱西进”的计策，到达青海也还是有一定的可能的。但孙殿英又刚愎自用，非要跟蒋介石拗一拗不可，结果采取了“攻占宁夏、再图青海”的强硬策略。宁夏久攻不下，部队疲惫不堪，饷糈不继，在马鸿逵的几面夹击下损失惨重。
　　孙殿英只得率残部撤出战斗，沮丧无比。蒋介石、何应钦看火候已到，不仅停发所有饷项给养，还密令庞炳勋、胡毓坤、戢翼翘等致电孙殿英，劝他就此罢休，解甲归田，以保一命。同时，又密令阎锡山、侯成派兵由晋、绥西进，马鸿逵率兵东出，构成对孙残部围歼的态势。最后由国民党政府正式下文，撤销青海西区屯垦督办公署的建制，免去已发表的孙殿英所兼各职。孙麻子纵然有三头六臂，也无力回天了。
　　被挤到了这份上，孙殿英才觉悟到自己不是蒋介石的对手。他见大势已去，先将李锡九、南汉宸等秘密送出，然后脱了军装，携银裹剑，离别军伍，声明做一平头百姓。他先到了太原，后又转车换马，赴晋祠居住。
　　孙殿英住在晋祠，一住就是两年多。晋祠位于太原市西南，那里山青水秀，风景甚佳，是一个修身养性、避嚣趋静的好去处。但像孙这种人，怎耐得这份寂寞，一旦外面有什么消息，他的脑袋瓜就会活动起来。
　　1936年初，日本人在华北步步进逼，何应钦撤离北平，宋哲元乘机招兵买马，扩张实力，造成了一个不小的局面。孙殿英见有机可乘，便重耍伎俩，又与宋哲元勾结到一起。
　　1936年2月，宋哲元任命他为冀北保安司令。1937年“七七”事变后，宋又委任他为冀北民军司令。很快，孙殿英就在房山县城竖起司令部招牌。队伍的主干，仍是庙会道的人和他的旧部。队伍在顺着平汉路南撤的途中，又收罗由北平溃退下来的散兵游勇，不长时间，队伍发展到近万人。
　　队伍拉起来之后，渐渐地，他又觉得官衔似乎太小了一点。为了争头衔，他曾找过河北省主席鹿钟麟，还找过刘峙和程潜，均不得要领。后来，他还是想到了蒋介石，想到了戴笠。尽管他知道打蒋介石的主意，犹如与虎谋皮。
　　1938年夏。孙麻子通过在平汉线上的军统特务张振武、徐静远与戴笠重新拉上了关系。向戴再次靠拢，试图接近蒋介石。
　　戴笠完全知道他的心思，便电邀他到汉口面晤。
　　1938年秋。孙麻子到了汉口，住在璇宫饭店。因当时蒋介石的大本营在武汉，戴笠也在武汉，汉口法租界内还有他的寓所。
　　这次戴笠对孙殿英特别热情，几乎是一日一宴，且只字不提过去那段难堪的事。两人还拈香拜把，结为生死兄弟。孙年长为兄，戴年少为弟。结拜之后，戴马上聘请孙殿英为“中国人民动员委员会”的委员（该委员会实为一帮会组织，是由戴笠、杜月笙等人发起成立的）。
　　一天下午，孙麻子带着随从在饭店旁边的江汉路大街上闲逛。戴笠派了人去，将他急急找回饭店。并让他换衣净面，说是要带他去一个地方。孙殿英赶紧收拾停当，坐上戴的汽车，出了饭店。
　　小车七弯八拐，最后停在离江汉关不远的租界里的一幢大楼前。楼前楼后戒备森严，四周几乎没有什么行人，只有几辆小车停在左右。门口的哨兵成双成对，清一色的呢制军服，掌有套、脚有靴，煞是威武。进楼门上楼梯，只见一对卫兵迎上前来，接过他俩的衣帽和手持之物。
　　他俩走进一问特大的房厅，落座之后，戴笠不言不语，孙殿英如坠云雾之中，几次开口想问，均被戴以手势止住。突然见从宽大的侧门里走出一个人来，孙麻子一看吃一惊，迟疑了一瞬，“啪”的一个立正：“报告委员长，卑职孙殿英。”
　　蒋介石朝他点点头，然后朝房厅上方的座椅走去，边走边说：“嗯，坐，坐。”蒋介石坐下，戴笠随后也坐下。孙殿英久久不敢落座。
　　蒋介石问了一些鸡毛蒜皮的！事情之后，才说：“你的情况，戴科长都向我说明白了。嗯……这个……外边有人说我不能容人，未必见得。今天我们总算见了面嘛。今后你要好好地为国出力，啊，安排问题，我已跟何部长说了，扩编你们部队为一个暂编军的番号。”
　　听到这里，孙殿英迅速站起，“啪”的又是一个立正：“委员长，对今后还有啥要指点的，请训示。”
　　蒋介石瞪着眼睛，从头到脚把孙殿英好好看了一遍，然后慢慢吞吞地说：“老殿，你很能干，有作为。过去历史上嘛，也有些不大清白的地方．趁眼下抗日救国之机，好好洗刷一番。嗯，以后不要任性嘛，有什么困难，找戴科长，找我。”
　　此话一出，孙殿英出了一身冷汗。他来不及细想，倒身便拜：“委员长，我老殿过去没有找到亲爹亲娘，这次雨农引路，算是找到了亲爹亲娘，也才算走上了正道。从今以后，忠心不二，要我生就生，要我死就死。我已向雨农盟过誓……”
　　没等孙殿英说完，蒋介石已叫娥笠将他扶了起来。
　　召见之后，孙殿英回到饭店，非常兴奋。当晚，孙在饭店设盛宴款待戴笠。宴后，孙又偷偷地交给戴笠一批珠宝，其中有送给载本人的，也有请戴笠拿去上下打点的。
　　还没等孙离开汉口，何应钦就发表孙殿英为陆军暂编第五军军长。
　　汉口临别之时，孙殿英在戴的面前许下了铁愿：日后只要戴一到孙部，即献上乾隆九龙剑，以感戴的知遇之情，以报蒋的栽培之恩。