信濃国埴科郡松代町(長野県長野市松代町松代)出身。信州松代の眞田藩士の伊藤録の二男として生まれる。
測量機製造の熟練工として活動。社会のために尽くしたいという志が強くなり、片山潜の「労働世界」を読み感銘を受け、片山の基で社会事業を考えたが、日本救世軍創設者の山室軍平(15-1-11-1)を知り、救世軍に飛び込む決意をした。なお、片山とは面識があり、片山は伊藤のことを「あの男は何かやるよ」と終始周囲に語っていたという。
1903.4(M36) 大阪で内国勧業博覧会が開かれるに当り、難波に救世軍第二小隊を設けて伝道活動を行う。また淫売窟(公の許可を受けていない売春婦が多くたむろする場所:私娼窟)へ押しかけ伝道活動等を盛んに行っていたが、気に食わないことがあったと、'04 一時、救世軍から離れ、関西鉄道や大阪砲兵工廠に入る。その後、上京して築地の海軍省工場で工場長を務めた。
'10 長女が亡くなったことを機に、再び救世軍士官の活動に戻る。'13.4(T2) 非常なる決心を心に抱き、社会事業部に転じ、村松愛蔵(同墓)らと婦人救済係の任にあたる。廃娼運動(娼婦を廃業させる運動)を推進し、専心娼妓自由廃業のために努力した。
当時は貧しい東北で口減らしのために身売りされた薄幸な娘が自身の判断とは別に娼婦にさせられていた。救出法は合理的で、どれだけの借金があるか知らずに働かせられていた娼婦たちと雇い主の間に入り、借金額をはっきりさせ、年季明けさせるという方法である。
「娼妓解放哀話」の著者の沖野岩三郎は、廃娼運動活動家の中でも伊藤富士雄が優れた救済活動家であったことを、3つの危険を乗り越えた人道者であったからであると下記のように述べている。
救済運動は常に危険と隣り合わせであり、始終3つの大きな危険に臨んでいたという。第1の危険は「暴力」。家を出た後にいつどこで殺されるかもしれない覚悟を持って取り組んでいた。なお実際に、'14.9 洲崎で遊廓経営者に雇われたヤクザに襲われ重傷を負うという事件が起きている。活動中に半死半生の目にあわされたことが二回、蹴られたり殴られたり石を投げられたことは何百回もあったという。第2の危険が「金力」。当時は人権という考えは皆無であり、金銭でもって人を売買できるという考えが当たり前であった。したがって、助ける上でもお金がかかる。また買い戻すことは自分が買うという意味でもあるため、また売ることもできる。助ける行為が金に眼が暮れて本末転倒になる救済者も出る中で、伊藤は実に潔白に身を保っていたと評価されている。第3の危険は「異性の力」。そもそも人身売買が成立するのは、娼婦を買う人がいるからである。救済者が男である場合は、色褪せる者も出てくる中、男と女の真ん中に立ち、交渉をして解決させていく姿は「人道の戦士」と称された。
救世軍に復帰し亡くなるまでの11年3か月で、約1,200人の芸娼妓の面倒を見て、そのうち 987人の娼婦を無事に廃業させ自由にした。なお、助けた娼婦たちは社会復帰をするまでの間、村松きみ(同墓)が主任を務める婦人ホームでサポートされた。'23.6.2 下谷救世軍病院で逝去。