鹿児島県出身。薩摩藩士の柴山良庵の三男。兄は維新期の志士の柴山良助と柴山愛次郎(共に同墓)。東郷平八郎(7-特-1-1)の従弟。
1871(M4)太政官よりアメリカ留学を命ぜられ、1874海軍に入り中尉に任官。
翌年、江華島事件の交渉に際し、黒田清隆弁理大使に従い朝鮮に渡る。1877西南戦争に従軍。
1879初代の水雷練習所長、1883水雷局長になり、初期の水雷術発達に貢献、「水雷の父」と賞賛される。
1886西郷従道(10-1-1-1)海相に随行して欧米に出張。翌年帰国し、艦政局次長。
その後、筑波艦長、横須賀鎮守府参謀長、高千穂艦長、海軍兵学校長を歴任。
日清戦争中は佐世保鎮守府司令長官に海軍史上唯一の大佐にて長官に抜擢されるも、鎮守府長官は少将以上でなければ任命できない顕職であるため、長官心得として就任し、一週間後に少将に昇格した。
1897中将、常備艦隊司令長官。柴山は艦隊派の重鎮として海軍軍政の権威の山本権兵衛と共に海軍内の双璧と称された。
1899海軍大学校長、1900呉鎮守府司令長官。旅順陥落後の日露戦争末期において、旅順口鎮守府を設置にあたり初代長官に抜擢された。
海軍草創期に欧米の海軍新知識を吸収し、海軍発達のために尽力したとともに、裏方の事務処理にも長けており、その地道な功績の積み重ねが評価され、1905大将に昇進した。
'07.2.24予備役、同年.9.21日露戦争の功により男爵の爵位を授爵した。'20.7.13(T9)退役。以後は、海軍と関わりを持たず余生を過ごした。享年75歳。没後正二位に序せられた。
子の柴山昌生(同墓)は海軍少将・男爵。