一天下午，徐树铮来到段府，见段祺瑞正与一个八九岁的小孩下棋，他笑了一笑。谁都知道与段祺瑞下棋是活受罪，假如有意输给他，他会骂你：“不长进的东西。”如果你要赢了他，他会勃然大怒，骂你：“玩物丧志，尽在这些方面下功夫。”总之是赢也不好，输也不好。

但那天与他对局的少年可是百年一见的棋坛天才，此人就是后来鼎鼎大名的吴清源———虽然是小荷才露尖尖角，但已显出卓尔不群。吴清源有意想东渡日本深造，但缺乏资助，因此有人将他介绍给了段祺瑞，希望段祺瑞能出点银子。

来段府前，就有人反复告诫吴清源，千万不能图一时之快只顾着赢棋，要讨老段的高兴。吴清源一开始也这样做了，处处忍让，谁知段祺瑞杀得兴起，步步紧逼，终于惹得吴清源心头火起，也忘了此行的目的，把段祺瑞一条已经成型的大龙宰得血糊淋漓。

段祺瑞的脸冷了起来，吴清源吓得伸伸舌头，也不敢再提赞助的事，一溜烟跑出了段府。不过，段祺瑞虽然输得恼火，但并没有失态，还是答应每年赞助他100块大洋，他毕竟是爱惜人才的。

见到了徐树铮，段祺瑞的心情好了不少。他呷了一口茶，突然想起了什么：“对了，我一直嘱咐你不要随便进京，这里的地面由冯玉祥控制，你过去杀了他的亲戚陆建章，这个人记仇，防止他对你下手。”

“事情过去了这么长时间，不妨事的，再说，快到年关了，我就是再危险，也得给您老拜个早年啊。”说到这里，徐树铮动了感情，眼睛竟有点湿润了。

“你可以走了，我有点累了。”段祺瑞别过脸去，不知为什么，他对徐树铮怀有一种特殊的感情，这种感情，胜过袍泽，胜过父子。没想到这竟是两人最后一别，果然如段祺瑞所料，冯玉祥是君子报仇，十年不晚。打听到徐树铮的行程后，立刻派兵将其捉拿，不问不审，拉到野地里就是一阵排枪，送徐树铮上了不归路。消息传来，段祺瑞放声大哭，大叫道：“断我肱股，断我肱股!”他这个人轻易不落泪，哪怕是当年兵败如山倒，丢了江山，也是谈笑自若。但失去了徐树铮，他却精气神全泄了，一夜间心灰意冷，老态龙钟。他痛感“事愿俱违，心力交瘁”，对政治兴味索然了，于是登上了火车，去了天津，从此远离了政治，远离了权力。

但日本人瞄上了他。

身处南方的蒋介石警惕起来，段祺瑞的威信犹在，在旧军界犹有号召力，一旦被日本人利用，后果不堪设想。他知道段祺瑞的脾气，吃软不吃硬，因此专门接见了段祺瑞的侄子，自称是段祺瑞的学生，因为蒋也曾在段祺瑞执掌过的保定军官学校上过几年课。说着话，他又让人拿来两万块钱，说是孝敬老师。段祺瑞对蒋介石的表白不理不睬，这个人很有点架子，以为蒋介石是后生晚辈，他不能屈尊。但蒋介石不管那么多，每年按时按点寄去钱款。别看段祺瑞做过总理、总执政，但在台上时并没攒上多少财产，这日子就过得拮据，所以蒋介石寄来的大洋起到了中送炭的作用。

1933年1月21日，在蒋介石一而再，再而三的邀请下，段祺瑞悄悄离开天津，以脱离日本人的势力范围。蒋介石给足了段祺瑞面子，通令所有少将以上的军官一齐到南京浦口车站迎接，自己一身戎装，等候在下关码头。见到段祺瑞，就上船敬礼，亲自把段祺瑞扶下船。

1月23日，段祺瑞去了上海，住在法租界霞飞路1487号的一座公馆里。蒋介石每月提供1万元大洋做生活费，他只是每日一盘围棋不可少的，再就是静读旧书和经文。

1936年11月1日，段祺瑞胃病突然发作，出血不止，虽经抢救，但终因病情太重，离开了人世，终年72岁。