三河国宝飯郡下地村(愛知県豊橋市)出身。代々医科の家柄である。後藤慶隆の長男として生まれる。1868(慶応4)慶應義塾に入り、翌年は下谷医学校に勤めたが、再び慶應義塾に戻り勉学を続け、後に教壇に立つようになった。1877(M10)東京師範学校雇教師、同校訓導となり、1881教諭に昇進し、物理学を講義した。
1883 大日本教育会結成より会員として参加し、以後、大日本教育会・帝国教育会で32年間評議員を務めた。1885 三宅米吉と『簡易器械理化学試験法』を書き、やさしい実験器械の作製や紹介に努めた。また同年共著で『小学校生徒用物理書』という教科書をつくり理科教育を普及させた。
1887 イギリス、スウェーデンに遊学し、ヨーロッパの理科教育を視察、実験を重視。1890 米国を経由して帰朝。帰国後は東京工業学校講師嘱託を経て、東京高等師範学校教授に就任した。1905より慶應義塾評議員となる。'14.7(T3)退官し東京高等師範学校名誉教授となる。その後も、同校講師として没するまで教壇に立った。
この間、1883(M16)漢字を廃し仮名文字のみによる国語表記を主張する仮名文字論者が合併し「かなのくわい」を結成、有力者として活動。湯本武比古(3-1-9-9)や辻新次らと、1900「言文一致会」を結成。帝国教育会の國字改良部の羅馬字書方取調委員(羅馬字=ローマ字)の筆頭として、小西信八と共に国字改良に携わった。ローマ字運動の熱心な唱道者としても知られた。
長く小学校理科教科書編纂にもあたり、物理学の教科書や著書を多く出している。主なものに、『幻燈写影講義』(1880)、『物理学初歩』(1898)、『物理学教科書』(1898)、『理化示教』(1899)、『物理学教科書問題集』(1901)、『中等物理学』(1902)、『物理学課本』(1907)、『誰にでもできる物理の実験』(1911)、『新編 物理学教科書』(1914)、『新撰簡易物理実験集』(1920)などがある。
わが国の理科教育の先駆者であり、実験教育によって理科教育を改善することに尽力。各種の簡易実験装置を考案したほか、魔境の研究にも携わる。また物理の他に手工科教授法開発に力を注いだ。正5位 従3位 勲3等。享年76歳。