第二军的前身是延吉反日游击队、和龙反日游击队、汪清、安图反日游击队和珲春反日游击队。
延吉反日游击队：
1932年夏，在中共延吉县委领导下，先后建立了老头沟游击队、依兰沟游击队、海兰区游击队和花莲里游击队。1933年1月，以上述各游击队为基础，正式成立延吉反日游击大队，共130余人，朴东根任大队长，朴吉任政委。
和龙反日游击队：
1932年6、7月间，在中共和龙县委领导下，先后在开山区、大砬子、平岗等地建立了几支游击队。以此为基础，子1933年3月正式建立和龙反日游击大队，共80余人，张承汉任大队长，车龙德任政委。
汪清反日游击队：
1932年3月，在中共汪清县委的领导下，在小汪清建立一支游击队。同时，县委派李光等十余人到救国军中参加战斗，组成别动队。同年4月安图游击队成立，同年11月，安图反日游击队与汪清游击队以及别动队合并，正式编成汪清反日游击大队，共90余人，梁成龙任大队长。
珲春反日游击队：
1932年6月，中共珲春县委在烟筒砬子建立岭南反日游击队，队员30余人；同年7月，又在大荒沟建立岭北反日游击队，队员30余人。1933年4月，岭南、岭北两支游击队合编建立珲春反日游击总队，岭北游击队为第一大队，岭南游击队为第二大队，孔宪琛为总队长，朴泰益为政委。
东北人民革命军第二军：
1934年3月，根据中共满洲省委的指示，以上述4支游击队为基础，组成东北人民革命军第二军独立师，共640余人，朱镇任师长(后叛变)，王德泰任政委，辖第一、二、三、四团。
1935年3月增建独立团，直属师部
1935年5月，正式建立东北人民革命军第三军，全军1200余人，王德泰任军长，魏拯民任政委，刘汉兴任参谋长，李学忠任政治部主任，辖第一、二、三、四团和教导队、游击大队。
1936年1月，二军扩编为2个师：
第一师辖第一、二团，第二师辖第四、五团。
东北抗日联军第二军：
1936年3月，东北人民革命军第二军正式改编为东北抗日联军第二军，全军2000余人，王德泰任军长，魏拯民任政委，刘汉兴任参谋长，李学忠任政治部主任，辖第一、二、三师。第一师下辖第一、二团，第二师下辖第四、五、六团，第三师下辖第七、八团和教导团。 |
