豊前国出身。中津藩藩士の長男として生まれる。号は愛庵、銕=アイアンの意。
14歳の時に父が病死したため、姫路の伯父の家に引き取られる。旧制姫路中学校を経て、1881(M14)神戸商業講習所卒業、1887高等商業学校(一橋大学)を卒業し、同校の教師となった。その後、府立大阪商業学校教諭、同校校長心得を務め退職。
1890 藤田伝三郎の藤田組に入社したが、恐慌のため1年半で退職。横浜正金銀行に入行し銀行家となり、ニューヨークで在勤していたが、病に倒れ、1895 銀行家を辞して帰国。帰国後は母校である高等商業学校の教授となった。
1902(M35)高等商業学校に続く二番目の官立高等商業学校の創立するにあたり創立委員を務め、神戸高等商業学校(神戸大学)の設立と伴に初代校長に就任した。実務を重視する観点から商業学校からの入学を認めるなど独自の入試制度を確立し、少人数教育制度の導入するなど商業教育に尽力した。
学生たちからは「愛庵先生」と親しまれ、「士魂商才」の理念に感化された出光興産創業者の出光佐三など多くの教え子を輩出した。正3位 従3位 旭日重光章。享年64歳。渡部義雄の著『水島銕也先生傳』(1939)がある。