入伍后，康白筐同志积极发挥党员模范带头作用，苦活、脏活、累活争着干在最前边，受到连队干部和战士们的好评。他不仅刻苦学习军事技术，而且以雷锋同志为榜样助人为乐，做好事不留名。他还积极帮助新战士学习文化、军事技术，多次受到部队首长表扬。节假日，牺牲自己的休息时间，经常到驻地为村民打水、浇地、收割等义务劳动，村民齐夸他是雷锋式的好战士，老百姓的子弟兵。康白筐在部队工作五年多时间，三次被评为“五好战士”，1965年被部队树为“助人为乐”标兵，荣立二等功一次。

 1967年12月29日在唐山服役时，部队驻地水峪人民公社王方村发生火灾，为抢救人民群众财产壮烈牺牲。牺牲时系中国人民解放军4582部队2中队1分队战士。

 康白筐牺牲后，所在部队报经中国人民解放军总政治部批准为革命烈士（烈字第2051号），并追击一等功。为了表彰康白筐同志的先进事迹，号召全省人民学习烈士精神，当时的河北省革命委员会、北京军区于1968年1月20日在烈士家乡行唐县城——行唐中学操场召开授予康白筐烈士一等功命名大会，烈士所在村北桥村设立了分会场，当时虽处在“文革”时期的派性斗争时期，全县参加会议的干部、群众、工人、学生仍有两万多人，会议号召全省人民向烈士学习，为革命、生产做出贡献。