山形県出身。子に劇作家の加藤道夫(同墓)、孫に芥川賞作家の加藤幸子がいる。
1907(明治40)東京帝国大学地質学科卒業。'09〜'11フライベルク鉱山大学に留学。帰国後、明治専門学校教授(九州工業大学)を経て、'20(T9)母校の東京帝国大学教授となる。'24柵原鉱床の研究で理学博士。'37〜'49帝国学士院会員。
その他、外務省嘱託、学術研究会議議員、同地質学・地理学副部長などを兼ねた。'40華北政務委員会の嘱託に応じて北京大学理学院名誉教授を兼職。'43東京帝国大学理学部長。'44停年退官し、名誉教授となる。
火山岩の研究に始まり、日本列島、朝鮮半島、中国東北部に分布する様々なタイプの鉱床を研究し、地質構造の発展と鉱床の生成について論じて、日本の鉱床学の発展と体系化に多大な貢献をした。地質・地理学研究の足跡は欧州から南北アメリカ、南アフリカ、中国、インドネシアなど世界各地に及んでいる。米国の学術雑誌 Economic Geology の編集委員もつとめ、日本を代表する鉱床学者であった。
主な著書に『鉱床地質学』『岡山県棚原鉱山の研究』『本邦に於ける火成活動と鉱床生成時代の総括』『本邦硫黄鉱床の総括』などがある。源地質学会では、彼の業績を長く顕彰するため、「加藤武夫賞」を設け、鉱床学上の優れた研究成果をあげた会員に贈っている。享年65歳。