简义原为清末将领
刘永福所部
黑旗军成员，1895年《
马关条约》签订后，拒绝接受日本统治而留在
台湾。他最初在云林梅仔坑（今嘉义梅山）集结旧部，成为地方抗日武装的重要组织者。
1896年春，简义联合柯铁虎在大坪顶建立根据地，利用山区地形构筑防御工事。该根据地后被命名为“
铁国山”，期间简义自称“九千岁”，成为台湾中部抗日力量的核心据点。期间简义吸收刘德杓等原清军军官加入，使义军规模迅速扩大至数千人。
1896年6月30日，简义率部对
云林地区发动大规模攻势，先后攻占斗六门（今云林斗六）、
南投街等战略要地。此次攻势引发
台中、
彰化、
鹿港等20余处民众响应，形成区域性抗日高潮。日军为镇压起义，调动两个步兵大队实施围剿。
7月间，简义联合柯铁虎部转战鹿港，与日军佐藤大队激战三日。此役中部分台湾士绅组织的“
别动队”成员临阵倒戈，但最终因火力悬殊导致义军撤退。据1896年日军战报记载，简义在此期间直接指挥的作战行动达13次，歼灭日军逾百人。