康效义，山东省郓城县南赵楼乡康垓村人。1930年代中期，康效义参加西北军。在吴化文部下任团参谋，团长为田福安。

抗日战争开始时，吴化文一度曾与八路军合作抗日，主要担负守护济南到泰安段铁路安全的任务，与日军多次交战。1941年，康效义所在团在巡视铁路时，曾与日本一个小队遭遇，双方隔着铁路路基交火，康效义所在部队占据有利地势，击毙了几名日本人，后来敌人火力凶猛，康效义便随团部撤离阵地。

抗战结束，淮海战役打响。当时的吴化文是济南守军司令王耀武手下的一个军长，奉命死守济南。关键时刻，吴化文率部两万余人向解放军投诚，使济南很快得以解放，康效义也成为一名解放军战士。在随后解放大西南的战斗中，康效义一直随改编过的吴化文部随作战。在一次战斗中，因与部队失去联系，此后只身回到山东郓城老家务农。

康效义虽经历抗战，曾与日寇作战，但因国民党部队服役的特殊身份，解放后，在屡次政治运动中饱受磨难。1987年病逝。