宮城県仙台市出身。父は旧幕臣で若くして御勘定奉行所普請方に出仕し、明治期は大蔵省から宮城県庁に転じて一等属を務めた井上嘉矩(よしのり)。後妻のもととの間の9人兄弟の長男として生まれる。父は前妻との間に3男1女を儲けていたが全員早くに夭折したので四男であるが井上家の嫡男となった。母のもとは仙台藩伊達家の一門である石川家出身。弟(次男)の井上達三は陸軍砲兵中将。弟(7男)の井上美暢は陸軍大佐。弟(8男)の井上成美(同墓)は海軍大将。従弟の田村丕顕は海軍少将。
宮城県尋常中学校、第二高等学校を経て、京都帝国大学理工科大学土木工学科第1期生に進み、1900(M33)卒業、成績優秀で恩賜の銀時計を受けた。後年、東京帝国大学ではなく京都帝国大学に進学した理由を、京都帝国大学の土木工学科が新設されたばかりであり、恩賜の第一号を得たかったからと述べている。卒業後、母校の助教授を二年間務めた後は、教職や研究職には就かず、内務省などの官吏にもならず、個人事業主的なフリーランスという立場の土木技術者という当時としては珍しいスタンスで生涯を送った。
'02京都市土木課長に就任。'07〜'08水道事業視察のため欧米各国及びエジプトへ出張。帰国後、京都市臨時事業部技術長 兼 水道課長に就任。京都市の上下水道新設、疏水発電増強、市電新設の三大事業に尽力した。
'10横浜市水道局技師長に迎えられ、同市の水道第2期拡張工事を設計・監督を任せられた。現在の横浜市の主要水源ともなっている引水工事であり、相模川支流の道志川の水を山梨県南都留郡道志村から、丹沢山地を超えて38キロ隔たった横浜市に給水を完成させた。
'19(T8)猪苗代水力電気会社土木課長、'23東京電燈会社理事建設部長を歴任。'36〜'37(S11-12)第24代 土木学会会長に就任。他に、水道研究会理事長、水道協会理事、函館水道顧問、富山電気顧問、名古屋市顧問も務めた。'42水道協会名誉会員。著書に土木学会名著100書の『鉄筋コンクリート』(1906)がある。享年66歳。