肩负着组建抗日游击武装的艰巨使命，杨靖宇离别了哈尔滨，来到南满抗日中心吉(吉林)海(海龙)铁路线附近的磐石县。他在桦甸蜂蜜顶子的深山老林里找到了游击队。这些游击队，几经日寇“围剿”，屡遭地主武装的夹击，不断受到挫折，战士发愁，领导心焦，怎么办？游击战争怎样打下去？正在这前途迷茫、人困马乏的危急时刻，杨靖宇出现在他们面前，带来了省委的指示，带来了党的关心。在深夜召开的一次党小组会上，杨靖宇指着一盏油灯，深情地说："这盏灯没有油就点不着。我们游击队没有根据地就像没有家。打了那么些年，还没个根据地，我们为什么要做没有灯油的灯芯呢？" 杨靖宇的话拨亮了大家的心，是呵，没了根据地，没有人民的支持，就像没了油的灯芯，怎么点也不会发光呀！于是在杨靖宇的领导下，大家重建磐石游击区。铁路工人的党组织、工会、反日会像雨后春笋，一个个迅速建立。铁路沿线的工人，磐石、海龙一带的农民，附近的学生、教员纷纷参加游击队。杨靖宇还派出不少党员到伪军中去做工作，伪军的中下级军官和士兵，也日益同同情抗日斗争，有的暗中支持，有的投奔抗日军队。原伪军营长率部起义，并联合南满游击队，一举攻占磐石县城，歼灭了日军守备队，中断了沈吉铁路线的运输。原伪满军迫击炮连哗变，参加了南满游击队。南满游击队声势大振，威名远扬，日寇闻风丧胆。　　

　　杨靖宇不辜负党的重托，打开了磐石地区游击工作的局面，深受磐石游击队干部战士的爱戴。1933年九一八两周年纪念日，遵照中共满洲省委指示，以游击队为骨干，联合其他抗日武装力量成立了东北人民革命军第一军独立师，杨靖宇任师长(又称司令员)兼政治委员。全师300多人。一年后，即1934年11月7日，正式成立东北人民革命军第一军，杨靖宇任军长兼政治委员。　　

　　杨靖宇分析了当时的形势，决定率部挥戈南下，越过辉发江，把辉发江以南大批分散的游击力量组织起来，同时狠狠打击日伪敌人，进一步壮大游击队。当时辉发江以南有上万人的抗日游击力量，他们多数是揭竿而起，没有党的领导，因而经常失败，濒于溃散的危局。杨靖宇给分散的抗日军首领写信，动员他们联合抗日，提出了“豺狼入门，外患为重，要联合起来对付日本”的主张，深受各抗日军拥护。有一支以长白山一位采木工人田麟为首的游击队，目睹杨靖宇独立师模范的纪律和英勇的杀敌行动，耳闻杨靖宇联合抗日的主张，深深认识到：只有共产党才是真正抗日救国的，请求杨司令给他们的部队派政委，愿意接受共产党的统一指挥。此后，田麟还入了党，任抗联第五团团长，后来在一次反“围剿”战斗中牺牲。杨靖宇团结了20多支抗日武装，于1934年4月成立抗日联军指挥部，他被公推为总指挥。由于杨靖宇的努力，南满团结抗日的大好局面逐步形成。