小日向白朗的直鲁联军

其后，他与盟兄弟高文斌一同加入了张作霖的奉天军，1924年，大本教教主出口王仁三郎以及植芝盛平等人一行应马贼卢占魁的邀请前往内蒙古一带活动。途中遭遇张作霖部下的袭击，全部被俘。小日向得知此事后四处奔走，证明了他们是日本人，使张作霖最终释放了他们。

26岁时在张宗昌将军的麾下参加了第2次直奉战争，和白俄骑兵队一起转战滦河，直隶、山东。一年之内由营长升为卫队旅少将旅长，是张宗昌手下的八大头目之一（另一个日本浪人伊达顺之助也在张宗昌军中，化名张宗援），驻过天津，与潜伏在天津的日军特务机关的二阶堂中佐关系密切，日本对他一介浪人介入军政有很大顾虑，让他辞去军职专门从事军火买卖，经手过同乡的日本财阀大仓喜八郎卖给直鲁联军的1万支枪和500万发子弹，获利30万元。他的头衔是“山东军务督办公署·第二第七方面联军总司令部司令官咨议”(少将待遇)，后改为直鲁联军咨议。当时日本驻屯军主任参谋三野友吉少佐对他十分反感，曾要求张宗昌将小日向赶出去，但未成功。

北伐军席卷中国时，他重披战袍，担任后为阻击任务，保护张宗昌且战且退准备逃回东北时，张作霖被关东军的河本大作谋杀，张学良继位，掌权的东北军军师杨宇霆嫌张宗昌名声太臭，在山海关布兵加以拦阻。张宗昌两面受敌，全军溃散。在此情况下小日向只好打点行李回到天津。

东北易帜后他去沈阳见张学良，张学良抓着他的胳膊哭诉道：“旭东，我和日本人不***戴天。”他听了以后却恶向胆边生，四处招募亡命之徒准备袭击奉天。1929年，小日向以赠送3000支长短枪、一吨炸药为条件，将自己的把兄弟曹老九及靠天、长胜等马贼头目拉拢过来，并以一批日本浪人为指挥官运筹帷幄，策划以所部2000兵马回合日本人的帮助，在腊月二十八日晚上实施他的“夺取奉天计划”，以他计算，奉天当时只有6000部队，他先炸发电厂，再趁乱举兵。但此事被一个嘴大的日本浪人事前泄漏，遂遭日方外务部揭发，他自行到领事馆投案后遭拘捕，日本怕这伙亡命徒将事情闹大，于1929年春节后被驱逐出满州 。