1938年11月，新四军军部为进一步开展敌后游击战争，加强长江以北地区部队的领导，派军参谋长张云逸率军部特务营北渡长江，进抵皖中无为地区，将原新四军第四支队第二游击纵队改编为江北游击纵队。翌年5月初，以军部特务营为基础，吸收庐江、无为部分人民武装，与第四支队江北游击纵队合编，正式成立新四军江北游击纵队。司令员孙仲德，政治委员黄岩，参谋长桂逢洲，政治部主任黄育贤。1939年5月新四军江北指挥部成立，江北游击纵队归其建制，下辖3个大队，继续坚持巢(县)无(为)地区抗日斗争，承担皖南军部与江北指挥部交通联系的任务，并以一部进至和县、含山地区开展游击战争。先后进行过桥岭、东关、照明山、古城集等战斗，予敌重大打击，参谋长桂逢洲在战斗中牺牲。6月，新四军江北游击纵队调整领导机构，司令员谭希林，政治委员孙仲德，参谋长朱绍清，政治部主任王集成。下辖第一、二2个团。第一团以原第四支队第十四团为基础改编而成。第二团由原江北游击纵队新七团等改编而成。皖南事变后，所属部队分别编入新四军第三师和第七师。