雖然呂布歸還了甘夫人，但是劉備與呂布已經互生嫌怨。建安三年春，呂布派人去河內買馬，半路上被劉備將馬匹都搶走了，呂布正好沒有借口，便遣部將高順、張遼率兵攻打小沛。劉備知道自己的力量不支，飛書向許都的曹操求救。曹操立刻派遣夏侯惇領兵往援小沛。
夏侯惇來到小沛還沒來得及安營，被高順部下的銳騎沖得四散，急得他腳忙手亂。夏侯惇左目中了一箭，鮮血直流，多虧親兵救護才逃出險境。劉備帶著關羽、張飛前來接應夏侯惇，劉備正與高順相遇，不料被張遼襲擊背后，劉備全軍陷落。他前后都沒有了去路，不得已跑往梁地。小沛里只有孫干、糜竺等幾個文士，甘糜二位夫人被呂布劫去�？磥懋攧涞睦掀耪媸遣蝗菀祝靸深^被人家搶走。
劉備跑到了梁地，正倉皇窮蹙的時候，曹操親自督兵前來救他。救劉備是假，奪取地盤是真。曹軍首先攻下了彭城，并將彭城的守兵平民全部殺戮一空，然后再引軍進攻下邳。呂布作戰失利，聽信妻子嚴氏的話，又懷疑屬下的謀士將領，導致將士離心，被部下侯成、宋憲、魏續出賣給曹操。這樣劉備又找回了妻妾甘糜二位夫人。
建安五年曹操打敗了劉備，甘糜二位夫人再一次被搶走，關羽也被擒。后來關羽聽說了劉備流落到袁紹那里，遂帶著二位夫人離開曹操回到劉備的身邊。不過幼子阿斗在亂兵中竄匿西入漢中，被人販子所賣。到了建安十六年，扶風人劉括避亂來到漢中，買到了阿斗。這時阿斗不知已經被賣了幾次，估計是太傻的緣故，誰也不愿意養活他。劉括給他娶了媳婦，還生下一個兒子。起初阿斗與劉備失去聯系時，還記得父親叫玄德。鄰居簡雍后來依附了劉備，并告訴他阿斗的下落。于是劉備遣簡雍到漢中尋找阿斗，張魯知道后給阿斗洗了個澡送還給了劉備。
這件事魚豢的《魏略》有記載，但不知是否可信，裴松之雖然對《魏略》作了辯駁，但魚豢搞錯的可能只是人的名字，并不能否認事情的存在，也就是說劉備還有一個史書上沒有記載的兒子。因為阿斗的生母甘夫人并不是第一個正室，在她之前劉備還死了幾個夫人。不過這已經是后話了。
甘糜二位夫人還算幸運的。據說劉備落難的時候，幾天沒吃到一粒米。一天他來到劉某的家里，見面剛報完中山靖王劉勝的名號就餓暈了過去。醒來后劉某端來一盤肉，劉備饑不擇食囫圇吃了下去，見劉某的家里也十分貧寒，就問肉從哪里來的，劉某說剛才把自己老婆宰了給中山靖王下酒。原來這個劉某還以為劉備是中山靖王，不知道中山靖王是幾百年前的死人，他琢磨著殺了自己老婆給中山靖王吃肉，中山靖王感激不盡一定會重重報答他，到時候美妻嬌妾還少的了么？劉備一聽也不敢說自己不是中山靖王，抽了個冷腳底抹油跑了。
曹操南取荊州以后，劉備從襄城跑到江陵。荊襄士民見劉備仁慈，害怕曹操的殺戮，便都攜兒帶女隨劉備同行。到了當陽的時候，士民多到十余萬，輜重也有好幾千輛。走的速度很慢，每天只能走十余里。劉備每次大敗的時候，妻子家眷都棄之不顧，此時庇護十萬百姓純屬沽名釣譽。明顯的是置百姓于死地，使對手得到惡名，可見其內心之忍，實為三國狡詐第一。曹操親率大軍長驅直追，劉備讓張飛斷后，趙云保護家眷。
曹軍五千輕騎日夜追殺劉備，一日一夜行三百多里，在當陽長坂追到了張飛的斷后部隊。張飛兵少抵擋不住，甘糜二夫人被亂兵沖散不知去向。趙云不見了二位夫人，急忙持槍又從亂軍中殺進一條血路，好容易才找到了甘夫人，將她帶到長坂(長坂是地名，不是山丘名，《三國演義》說成長坂坡不正確)。張飛見到趙云便問及嬰兒阿斗，才知道阿斗被糜夫人抱著，卻不知道糜夫人在什么地方。趙云只好又一次沖進曹軍陣中救出了糜夫人。此時糜夫人身體已受重傷，她奄奄一息地抱住阿斗。見了趙云后，為了讓阿斗脫身，不連累趙云，她一躍跳入井中而死。趙云悲傷之余，推倒土墻掩蓋水井，以免糜夫人的尸體受辱。
劉備見到趙云救回甘氏母子心里大喜，聽到糜夫人已死又不禁大悲，一時間百感交集，又落下許多淚。甘夫人因為受驚成疾，一年后二十二歲的她也離開了人世�？蓱z甘糜二位夫人一生跟隨劉備東奔西走，被人搶來搶去，幾乎沒享過什么福。
應當注意的是關于趙云單槍在曹軍中七進七出純是《三國演義》的敷衍虛構，其實趙云不是我們想象中的粉面朱唇，白緞盔甲，背上插著許多繡花三角旗的英俊小青年，他的年紀比劉備還大而且在蜀國的地位很低，死后一年多才得到追謚，完全不能與張飛、關羽、黃忠相提并論。所有趙云的英雄事跡來自《趙云別傳》，但是《別傳》內容可疑之處太多。
荊州地處西川與東吳之間，是歷來的兵家必爭之地。當初劉備沒有立足的地方，向東吳借荊州暫時棲身，約定以后歸還。赤壁之戰后孫權想討回荊州，劉備以各種理由再三推拖。而且魯肅一提起歸還荊州的事，劉備就放聲大哭。周瑜勸孫權將妹妹嫁給劉備，以婚姻關系羈絆住他。孫權實在沒有辦法，就想趁劉備喪妻之機會，以其妹孫尚香送給劉備作繼室為誘餌，借口吳國太夫人特別疼愛這個最小的女兒，不愿意遠嫁，所以請劉備去東吳完成婚禮。名為東吳與劉備連親，實則趁劉備過江之機加以拘禁，好逼諸葛亮拿荊州換回劉備。劉備有意聯吳，便遵從了東吳的婚議，建安十四年冬天由趙云、孫乾陪同進入吳境。
不想孫權反弄巧成拙，在甘露寺吳國太是丈母娘看女婿，越看越喜歡，就真的招他為婿。結婚時劉備已年過半百，孫尚香也就二十來歲。結婚的那一天，一百多個侍婢簇擁著一位珠圍翠繞的裊娜佳人與劉備參拜天地。待到入了洞房劉備不禁吃了一驚，洞房里面刀槍劍戟殺氣騰騰，侍婢都佩劍侍立在一旁，好像要出兵打仗的樣子。劉備忙哆嗦著問：“這是做什么？”侍婢說：“我們郡主從小喜歡練武，一向是隨身不離兵器。”劉備說：“今夜是洞房花燭的好日子，還是將這些暫時拿開的好。”孫夫人撇嘴說：“你打打殺殺了大半生，難道還怕兵器么？”
不滿歸于不滿，孫夫人還是脫下戎裝，丟下兵器。這時劉備仔細端詳，這個孫夫人神采奕奕，長得也很端正，于是緊張害怕的心情也消失了一大半。孫夫人橫眉立目的時候確實嚇人，但溫柔起來也是驚天動地的銷魂。于是二人攜手進入幃帳。
劉備一連住一個多月，這才從溫柔鄉中醒過來想起了荊州的部下。他對孫權說曹操眈視荊州不能不回去，孫權不好說不放的話，況且劉備早將吳國太哄得團團轉，另外他也想讓劉備在荊州作為曹魏和東吳之間的緩沖。等到劉備攜孫夫人回到了荊州以后，周瑜從江陵來見孫權，問起孫權為何放劉備回去，孫權說是防備曹操。周瑜只好無奈嘆息。他給孫權分析了形勢，孫權也很后悔，真是“賠了夫人又折兵”。
