又经月余，姐夫连问候都没有信都没有，桓川倒是不着急，经常和弟妹刘清交谈论诗画，她未曾生育，十分喜爱桓家的几个孩子，自己也像个孩子，和他们玩得也开心。只是，在世俗眼里看来，这却是一位十分可怜的女子。
　　桓玄坐不住了，这个人太嚣张了，凭借现在的权势，派人把这姐夫暗杀了也不会有人说什么。不过，他还是很有教养的，不能随便动刀，于是，就让人调查姐夫的政绩，看看能不能抓到把柄。
　　回来的人报告说，这个太守整天不做事，沉迷山水，恣其游适。这下桓玄发愁了，他做了什么事，自己好可以挑事，但他什么都没做，却难以对他下手。当时的环境是做清闲的官最保险，如果有几分才气，还可以博得美名，实在不亏。
　　此时，他最爱的桓胤侄子也从家里到荆州，其他的桓胤是不会插手，倒是这件事让他也不开心了，他最不喜欢的就是有人看不起自己的叔叔，于是，他给叔叔出主意，说道：“他不见我，我们就去见他。“
　　“要我去拜访他？不可能。”桓玄当即回绝。
　　“他不是喜欢游山水吗？我们就邀他游山，再借机欺负他。”
　　桓玄摸摸自己侄子的头，说道：“胤儿，你都快三十，还这么调皮。不过……这个主意不错。”
　　刚刚安定下来的桓玄又不安分了，和桓胤商量着去何处游玩。从地理上考虑，为了方便那位姐夫，他们挑的地点是衡山，而且南岳衡山对应星宿二十八宿之轸星，轸星主管人间苍生寿命，南岳故名寿岳，也满足了他们猎奇的心里。
　　执笔邀请的是桓胤，桓胤的名声好，在荆州之地，受他邀请的人一般都不会拒绝，王裕之也不例外。
　　桓玄拖着桓胤，带着陶渊明，跟着人数位家仆，不顾刘清、仙期、范之等人的反对，就踏上衡山之旅。
　　又在巴陵，桓玄和这个姐夫碰面了，从外貌上来说，这姐夫还配不上自己的姐姐，他形貌算不上狡诈，但身材短小，比一下，差不多矮自己一个头。
　　一见面，桓玄就直接报出自己的名字，王裕之显然愣了一下，不过想想桓胤是他的从侄，就不觉得奇怪了。
　　妻弟是妻弟，南郡公是南郡公，同游是同游。不想见妻弟，是因为和妻子关系不和，不想见南郡公，是因为看不惯他的盛势与无情，但如果只是和自己同游，他还是欢迎的。
　　一番接触下来，桓玄虽然觉得此人的外貌偏下，但是行为端庄有大家之气，算是弥补不足了。问起他为何把姐姐搁在自己那里，他回答如果妻子想回来，自然就会回家。
　　谢安的女儿和王不和，谢就直接把女儿接回家，难道自己会容不下姐姐？但是在他眼里，面前的人难和王比肩，暗想着找个比他好的人，把姐姐再嫁出去算了。这事也先放下，至于桓胤，似乎早忘了自己邀这人出行的初衷了。
　　去衡山路上，桓玄又见他走路平平稳稳，坐下端端正正，开玩笑说道：”卿坐起端方，可谓‘弹棋八势’。“陶渊明和桓胤都忍不住笑了，这个桓玄比喻虽然有点不伦不类，但确实形象。
　　弹棋，博弈一种，开局前双方会先摆好棋子，然后相互攻击，为了让自己的棋更稳固，通常会摆得上窄下宽。
　　虽然这话有点夸他，但这比喻用的实在让人不开心，虽说不上记恨，但王裕之是更不喜欢这妻弟了。
　　这次衡山之旅，还算尽兴，游山赋诗，饮酒听乐，如此而已，当然，他也不忘记录一行人游山时所作的诗，并作一序为《南游衡山诗序》：
　　岁次降娄夹锺之初，理楫将游于衡岭，涉湘千里，林阜相属，清川穷澄映之流，涯无纤埃之秽，修途逾迈，未见其极，穷日所经，莫非奇趣，姑洗之旬，始暨于衡岳，于是假足轻舆，宵言载驰，轩涂三百，山径彻通，或垂柯跨谷，侠献交荫，或曲溪如塞，已绝复楷或乘步长岭，邈眺遥旷，或憩舆素石，映濯水湄，所以欣然奔悦，求路忘疲者，触事而至也。仰赡翠标，邈尔天际，身凌太清，独交霞景，周览既毕，顿策岩阿，管弦并奏，清徵再响，思古永神，游气未言。
　　在桓胤看来，自己叔叔写的肯定是好的，陶以为，光从写景上来说，确实写出了山径、垂柯、曲溪的特色，而他对于情绪的描摹也符合当时的心境，但向来质朴的他还是不喜欢这种近于玄言的诗序，一笑了之。
　　游完了，目的没达到，姐还是住在江陵，只算是自己暂时从俗务中解放出来，算算时间也要回家了。
　　这次回家，没了上次激动的相迎，仙期把一封万盖的信转给桓玄，他手心微微出汗，仙期安慰说没事，如果他出事，就写不了信了。
　　最终还是拆开了纸装的丝信，他在里面只说自己已经混进孙恩内部，但是还不能进入他所在的海岛上，在海边负责接应提供给孙恩的财物。而且，以他的商业头脑估计，这些东西只够那里再吃几个月，预算到年底，孙还会出海掠夺一次。
　　不过，桓玄最关心的不是孙什么时候再来袭击，这对他的关系不大，他宁愿万盖不要去那个地方。信中，他还提到若云还在会稽，现在是在镇守高雅之处帮忙。桓玄想她应该还是舍不得江南那块地，提笔写下一封信，提醒她注意，祝他平安，仅此而已。
　　以后，一切又进入正轨，该做事的还是做事。转眼间，儿子桓升到了两周岁，自己的娃还是这样粉雕玉琢，白嫩可爱，说出的话都成章法，让桓玄小小地骄傲了一下。大女儿还是这样闹，桓玄笑说让昙亨收了她，这让昙亨红了脸；二女儿和母亲像，看上去安安静静，倔起来不亚于姐姐。
　　果然，在桓升两周岁生辰后，就收到孙恩复出袭击的消息，高雅之败走，朝廷又派刘牢之都督五郡军事，在余姚与孙恩大战，孙又逃入海中。于是，刘牢之在上虞屯兵，而若云，桓玄收到她的来信，她转移到句章，而现在和她合作是刘裕。
　　桓玄在脑中回想，这个人在桓胤从建康回来的时候听过，他曾带着百来号人抵御几千变民，当只剩下自己一个人时，亦能奋勇杀敌，无人敢接近他。
　　刘牢之，桓玄已经把这个人纳入黑名单了，如果不是他的叛变，王恭不会死，他实在不想放过此人，而刘裕，等解决牢之后，他或许能代替牢之统治北府兵。经过几次交战，桓玄发现自己的领军能力不怎么样，而对于这些，他也不想去学习，只能找其他人代替。
　　对于孙恩的进进出出，桓玄都不怎么在意了，自己在荆、江一带还是活得好好的，厉兵秣马，等待时机，王恭起兵，给了他崛起的机会，而孙恩之乱，从某种程度上来说，又给了他兴盛的机会。
　　当然，从东晋内战中得到便宜的绝不仅仅只是桓玄一人，还有后秦王姚兴，他占尽了便宜，洛阳这片土地还有附近的郡县，桓玄想想都心痛，但他还是无礼抗衡，或者说，他还腾不出手和他对着干。
　　攘外必先安内，所以，对于姚兴，桓玄只能向他寻求合作，可是让他卑下地向姚兴求庇佑是不可能的。
　　细看关于姚兴的资料，桓玄发现这姚兴还是很有意思的，就在去年，也就是他夺取洛阳的那一年，因为屡屡出现天灾和天象异变，他就给自己降号，从皇帝改为王，各地官吏均降职一级，虽然说没有什么实质上的差别。
　　但这说明姚国主还是比较迷信的，而且他会修建寺庙，极好佛教。桓玄也就从这方面下手，说起佛，南方的佛教还是从北方传过来的，如果真的论起来，南方在真理论上讲起来可能会输给北方，但东晋的佛学和玄学接触后，自有他的特色。于是，桓玄在上明寺挑了不少翻译的佛经，还有把前江州刺史王凝之集中八十八位中外僧侣翻译的佛经送一部分给姚兴，美其名曰交流。
　　当然，这些佛经桓玄是派陶渊明和桓胤和上明寺的和尚们磨了很久才得到的，相较之下，庐山的慧远就大方很多了，一出手，就拿了好多佛经的副本。而他自己，也非常心疼地拿出几幅字画放这一堆东西中，这样做也有几分炫耀的味道，让他看看江左浪荡。
　　桓玄派出使者把这些东西送出去，而使者，为表示诚意，同时为了展示一下桓家的实力，桓玄选择了年仅十六岁的从侄桓稚玉。稚玉是从兄桓石秀的儿子，因为石秀早亡，这个孩子从小在叔叔石康身边长大，与其父相似，风韵秀彻。
　　派索元护送这些东西和使者，在所有的武将中，索元最让桓玄喜爱，其他的荆州老将都是前辈的任用过的，而他是桓玄一手培养提拔的，所以会偏爱他。而索小子平日里也正直不贪，不自傲，老将们也喜欢他。
　　可能是这次的任务太简单了，不出一个月，他们就回来了，因为桓玄没有带任何话，这就是一场文化交流，所以按稚玉的说法，姚兴也没有带任何话给桓玄。作为回礼，姚兴给桓玄送了佛经，他以儒治国，特意送桓玄长安的儒家经籍，桓玄看看这些，似乎在意料之中，也不多说什么。
　　不久，传来消息，姚兴遣送刘嵩等二百三十七位俘虏的东晋将领文士回建康。初收到消息，桓玄满意地点点头，但是细看名单，桓玄就开始大骂姚兴这老贼，太计较了，就送这些可有可无的人过来。
　　其实，桓玄想要的是上次苦守洛阳的辛恭靖和何澹之。从利益角度上讲，这两个人的生死与桓玄没有半点关系。辛恭靖，桓玄佩服他面对姚兴宁死不跪的勇气，而何澹之，因为他曾经告诉王恭刘牢之有二心，桓玄对他心存感激，不忍他在异域受委屈。
　　姚兴不知道是没领悟还是故意的，但他这样做，已经算是很给桓玄面子了，而对于这个如日中天的姚兴，桓玄也不能得寸进尺，只得作罢。