宋江对方腊不放心，而此刻让方腊最放心不下的却是儿子方天庆和侄儿方杰。
带了三万战士第一批去台湾打前站的老哥哥石宝和兵部侍郎高铭德已经顺利抵达目的地，并且派了一个心腹副将随返航的船队回到杭京报信，说那边的确如同宋公明所言，地广人稀，大宋的守备兵力和派驻的官府形同乌有，土著的高山人见了大陆的军队早已远遁深山，大越**民过去可以轻松的成为当地的新主人。虽然从已经获知的情况看，台湾山地多平原少，大规模农耕似乎有些受限制，但若人口不要太多的话，自给自足还是有希望的。
收到这个消息的方腊心中悬着的一块石头总算落了地，看来宋公明推荐的这个退步落脚之地还是可用的。饶是如此，他依然对自己带着部下历经十数年打下来的江东和两浙仍是恋恋不舍，毅然决然地拒绝了文武群臣和宋公明主张的建议，只安排杭京中愿意继续追随自己的官民士绅以及国库财务乘了大船作为第二批出海赴台，他自己执意率领护驾的两万禁军以及从湖州、苏州方向撤退下来的数万人马弃守杭州，经绍兴退往台州。仙霞岭那边已经着人送去谕旨，让方天庆即刻率军东来台州相会，而方杰却迟迟没有消息。此时方腊已经得知方杰在回军途中中伏兵败，以及叔父方垢命丧歙州的情形，心中十分焦急。他让人告诉昱岭关的守将庞万春，无论如何要寻找到方杰的余部。
离开杭州的那一天，成千上万的百姓携家带口尾随着大军蜿蜒而行，场面让一向以硬汉自居的方腊也不禁为之动容。他指着黑压压的人流，压制着胸中的郁闷和委屈同宋江说：“公明兄你看，多好的百姓啊！在方某起兵举义的时候，他们箪食壶浆，送子参军，如今方某遭遇挫折，他们也并没有嫌弃我。只是这些年来，方某没有为他们做些什么，真是愧对江东的父老了！”
宋江同样为眼前的情景有些感动，虽然他知道这里面有不少百姓是为着防备将来宋军收复杭州后可能实施的清洗报复而南下避祸的。他顺着方腊的话头说：“这说明方兄在百姓心中还是英明之主，只要今后能始终将百姓的利益置于行事的首要出发点，无论到了哪里，无论遇到怎样的暂时困难，都一定有机会东山再起的。”
也正是为着宋江这句话，部队在绍兴暂住的时候，方腊采纳了手下官员的意见，召见了追随撤退的百姓代表，告诉他们大军将撤往台州和温州一带，在那里与宋军决战，希望百姓自绍兴开始便不要再与大军同行，尽可以去金华、衢州、嵊州、甬州等地投亲避难，以免遭到战火的殃及。假定有愿意至死追随的，也可以离开大军提前去往台州，在那里可以乘坐海船去海外台湾。
几天后在大军离开绍兴继续撤往台州的途中，方腊得到了宋军已经进入杭州的消息。没等他长吁短叹，宋江就又来告诉他，再次返航的运输船队大概在两日之内就会从台湾直接来到台州，请他尽快安排好第三批人员的登船事宜。
他大略估算了一下，温台两地需要运载出海的军民共约五万，若加上方天庆那两万人马就有七万之众，这还不算可能到达的庞万春、方杰等人，这样来看至少要分两批登船。好在此刻他的结义兄弟、老将钱大均已经把南边的战事稳定住了，福建来的宋军也不再急着北上，似乎准备一门心思的防堵大越军向南逃走。倒是北边，大帅宗泽已督促着十多万宋军分兵南下，眼下据说再有两天就会接近绍兴府了。
方腊问宋江有什么好主意。宋江本想建议方腊应早日登船出海去台湾的，毕竟台湾那里现在已经过去了两批人马大约七万人，百事待兴，没有人主持大局是不行的。可是方腊执意不肯走，他说如果此刻自己离开浙江，这里的形势就可能马上变得恶化起来，因此自己必须要等到最后一批走。
宋江很理解方腊的心情，也知道民心得失对于大事至关重要，因而两人沉默了一会儿，把问题的焦点转移到如何拖住宋军南下的速度上来。宋江说：“台州本地也有不少的船只，应该马上派人征集组织起来，这样一次可以运载五万人，可以确保两次就把这里的军民百姓全部运走。按照每次往返要五六天时间计算，台州这里至少半个月以内不能出现宋军的大队人马，而绍兴距离台州不到九百里，想做到这一点并不容易。”
宋江皱着眉头想了半天，倒是方腊开口说话：“公明兄勿需发愁，你看这样可好？首先逆把甬州的人马撤走，我派轻骑重占甬州，宗泽必不敢专心南犯，必先取甬州。”宋江问：“方兄如何说甬州是我的人马？”方腊笑了笑：“你不用瞒了，前些日子占领甬州的人马肯定是你安排的，我仔细看了塘报，说无数战船乘风而来，沿江火炮隆隆，势不可挡，所以甬州才一鼓而破。放眼全国，除了你宋公明的人马，谁有这么多的精锐水师？又有谁能想到用这样的方法来攻城破府？说实话，要不是见识了你的船队，我也猜不透福建那里怎么会奇兵突出，哈哈！”
宋江见对方已窥破天机也朗声大笑，点头称是：“宗泽此人用兵稳健，若侧后存在隐患，他就会有所顾忌。”方腊说：“我再让天庆带着仙霞岭下来的人马向北绕一下，做出要侧击宗泽的姿态，他必然更加谨慎，南下速度就会放缓。”宋江提醒道：“这个要仔细，宗泽已分兵去向昱岭关和仙霞岭，令郎若好战喜功，没准就会与宗泽的人马纠缠不清，到时候怕对抽身不利。”
方腊想了一下：“我让王欢去辅助他，把握好时机。”他冲着宋江诡异的一笑：“要不等船队回来调出几只小一点的，载上点人马去攻打杭京？”宋江一怔，随即哈哈大笑：“方兄不亏是世之枭雄，用兵行事不拘常理，学我的招数也学的快！”两人朗声大笑，声音传到屋外，惊飞了房顶上的一群嬉戏的麻雀。
虽然退出杭京的时候方腊的心情很坏，但他并没有将此怪罪于宋公明的身上，相反的，正是因为憧憬着宋江对他描述的美好的远景使得他支撑自己，带着人马撤到台州。这些天来通过与宋江不断地交流，以及对自己这几年来所作所为的反思，方腊真正开始意识到他这个皇帝的荒唐，也开始明白宰相高明培等阿谀奉承之徒的可恶之处。
毕竟是贫苦人家出身，方腊沿路上经常微服私访，听寻常百姓讲他们对大越国的看法，逐步认识到对于老百姓来说，谁能给予他们的更多，他们就会更谁。自己在前些年之所以能在逆境中屡败屡战，终于东山再起，一举克定江浙，不是因为自己有神权天赋，也不是因为一下子变得多么善于战斗，而是因为大宋王朝对于江南的盘剥与日俱进，尤其是徽宗征调“花石纲”搞得江南天怒人怨，让一向温驯良善的江南百姓，包括一开始还对自己起义持敌意的士绅们都无法再忍受下去，转而把希望寄托在自己身上，希望通过方腊起义改天换地，让他们不堪重负的脊梁得以歇息。而自己上台之后，由于采纳高明培的主张，一面大肆扩军备战，一面大兴土木，使得百姓的负担非但没有减轻，反而更加沉重。百姓们现在已经不再他了呀！
方腊终于明白为何宋江那天同他说的“即使逆今天不败于官军之手，也必不久败于百姓之口”的意思了，也明白宋江说的“你造赵家王朝的反，将来会不会有人造你的反”这句话的含义。原来是自己被蒙蔽住了心灵，做了如此糊涂的事情。这使得他对宋公明的见识和胸襟愈加佩服。如若早些有此人在身边递些诤言该有多好。此时此刻，在方腊心目中，宋江早已不再是北方的绿林同道，也不是官家派来擒拿自己的鹰犬，而是自己的良师益友，是雄才大略的大智之师。
南下途中，方腊找到了宋江所说的那位王安石的后人，倾谈之下，果然家学渊源，谈吐不凡。这样他就不再为了到了台湾之后该如何推行新政而忧虑了。不过宋江当着他们君臣二人直言不讳，说熙宁新政之中亦有不尽人意之处，并非十全十美。况且到了台湾之后，天时地利人和都与当年不同，应因地制宜，审时度势，变通而行，“时移世易，变法宜已”，切忌生搬硬套，循规蹈矩。
宋江满怀崇敬地说：“王临川先生之伟大，在于他忧国忧民，勇于创新，舍己为公，鞠躬尽瘁。作为后人应该很好地领悟临川先生的思想真谛，而不拘泥于表面文章。”他还告诫说，熙宁以来，论及变法新政之文章不在少数，凡是能见到的都应悉数研读，褒贬皆无妨，套从中汲取经验教训，遇到难以决断之事，不妨去问应用之人。关于百姓民生的政策，百姓是否欢迎，为何好恶，是最好的试金石。一席话说的君臣二人连连称是，直谓“听君一席话，胜读十年书”。()
http://ap.