筑前国(現在の福岡県)出身。石川秀重の第二子として生まれる。後に廣瀬正和の養子となった。名前の「徳」は正しくは「德」。
1893(M26)陸軍省に入り主計畑を歩む。1909.8.1(M42)経理局主計課長、'11.11.22 一等主計正。'13.11.15(T2)会計監督部長を兼務した。'16.8.18 主計監に昇進して朝鮮駐箚軍経理部長を歴任。'19.4.23(T8)から陸軍経理学校長に就任し、'22.4.1 陸軍中将主計総監に昇進。'23.5.5 待命、校長を辞す。同.6.11予備役に編入。
'25(T14)日本相撲協会が設立し財団法人として認可される。これに伴い、'28.1.7(S3)初代理事長に就任。死去する '38.9.27まで理事長を務めた。廣瀬が日本相撲協会初代理事長になった背景は、東西に分裂していた東京相撲協会と大阪相撲協会が合併して設立されていた大日本角力協會を財団法人化するにあたり、陸軍の人脈を相撲界に引き入れて、相撲界の組織基盤を磐石のものに仕立て上げる思惑があった。福田雅太郎陸軍大将を会長に推し、協力を求めていた陸軍主計総監陸軍省経理局長の三井清一郎の推挽により、廣瀬が理事長に就任したという経緯であった。
大日本角力協会理事長在任中には、出羽海部屋の力士の天竜三郎らが起こした協会の体制改革及び力士の待遇改善要求闘争(春秋園事件:ストライキ)が発生し、福田雅太郎協会会長と共に事態収拾に当たった。廣瀬は書家としての顔も持ち、「秋山」という号で書画作品がある。肝臓病のため慶応大学病院にて逝去。正4位 勲2等 功4級。享年73歳。
日本相撲協会理事長在任中に亡くなったため、その後、日本相撲協会は陸軍士官の西岡静太郎、白土哲郎が理事を務めたが、歴代理事長には記載されず(あくまでも理事)、'38.9.28〜'44.2.29まで理事長は空位とされている記述が多い。'44.3.1 第31代横綱の常ノ花こと藤島秀光(出羽海秀光)が2代目と就任して以降は、理事長は相撲界出身者が独占している。よって、協会の意思決定機関である理事会を構成する理事を外部の人間(関取以外の唯一の人物)として務めたのは廣瀬正徳のみである。