却说俞大猷与刘恩至在谢志望乡兵的配合下，在临山卫城彻底消灭了以小和田光盛为头领的倭寇。接下来，浙江海道副使李文进、参将俞大猷、武威将军汤克宽、都指挥佥事刘恩至四位明军将领率领大军赴烈港，以剿灭盘踞在烈港的倭寇。

烈港位于金塘岛的西北部，烈港西侧还有大鹏山岛。烈港在宋代就已经是杭州湾南部的海上要地，南宋时期在舟山群岛西部、西北部设铺报警，从定海的招宝山到嵊泗的壁下，设立十二铺，烈港是出招宝山东北方向第一铺。元代三姑巡检司设于烈港。嘉靖二十七年双屿港被捣毁后，倭寇曾经在一段时间没有稳定据点，到处被明军追打，闹得日子很不好过，甚至说是过得非常凄惨。

海盗头目王直从双屿港逃出后，在海上招集各路中小股倭寇，包括徐惟学、叶宗满、谢和、方廷助、毛烈、叶明、陈东、徐海、汪汝贤等中国海盗为首的倭寇团伙，依仗倭寇武功高强并且不怕死的特性，在沿海从事抢掠活动，还大量杀害善良百姓，肆无忌惮地强奸妇女，真是无恶不作。王直离开双屿港不久，有一股从广东、福建来的海盗在浙东沿海活动，其首领叫陈思盼。王直为了扩大势力，想把陈思盼这一部分人招募到自己麾下，谁知陈思盼不想受王直的节制，拒绝了王直的要求。于是王直率部灭了陈思盼这一股海盗，将陈思盼斩杀，将陈思盼的头献给朱纨，企图拿这件事向官方邀功，要求官方容许他在海上自由活动。海禁是朝廷定下的国策，朱纨没有答应王直的要求。于是王直一伙就将船队继续停泊在金塘岛的烈港，继续干走私、劫掠的非法勾当。但是由于明军的穷追猛打，王直在烈港也呆不下去了，只得又一次跑到日本，在日本松浦隆信等大名的大力支持下，在日本萨摩州松浦津建立政权，潜号为“京”，王直自称“徽王”，封徐海、叶宗满、徐惟学、毛烈为大将，陈东、谢和、方廷助、叶明为谋士。又在多郎次郎、四助四郎等日本浪人支持下，发动日本三十六岛浪人，建造可容纳二千人的巨舰，准备到时候回到大明东南沿海从事抢掠活动。直到抗倭主帅朱纨被仇家扳倒，倭寇才有机会进行反攻倒算，于是中国海盗头目王直在日本到处联络，在松浦隆信等日本大名的大力支持下，组织了五六万人的大军，乘坐可容纳二千人的巨舰和各种不同用途的大小船只，耀武扬威地开往大明东南沿海。

嘉靖三十一年，王直引带日本以松浦党为主力的倭寇大队把烈港作为新的巢穴，东南沿海各地的零散倭寇纷纷在烈港聚集，一时间，烈港成为倭寇的总部水城。倭寇总头目松浦隆，二号头目安倍宗任、藤原純友、山田加藤、大村純伊，三号头目户次鉴连、吉弘鉴理、斋藤镇实、田原亲贤、臼杵越中守、岛津义弘、岛津岁久、一色辉喜、一色辉元、足利藤政、武田信玄、毛利元就、上杉谦信、朝仓义景、浅井长政、朝仓义景、大内义长和日本著名武将武田义信、饭富虎昌、朽木藤纲、朽木辉孝、松永久秀，细川藤孝、益田藤兼、岛津义虎、三好义兴、上杉辉虎、大内辉弘、小野寺辉道、大和田光盛、金乘坊、田光盛、小野寺义道、足利义昭等等都在这里聚集，然后被分派到北到松江府，南到福建南部的数千里沿海各地从事抢掠活动，搞得大明东南沿海数千里地界鸡犬不宁，数十万明军和地方部队忙于应付，各地地方官都为抵御倭寇侵扰搞得精疲力竭，但是仍然看不到太平的希望。