和歌山県和歌山市出身。本名は晴三郎。代々紀州藩に仕える小鼓方幸流の能楽師の下村豊次郎の3男として生まれる。1881(M14) 8歳のとき、一家で東京に移住。父は篆刻(てんこく)や象牙(ぞうげ)の彫刻家を生業とし、兄二人も彫刻家となる。
観山は9歳の頃より、祖父の友人の藤島常興に絵の手ほどきを受け、常興が狩野芳崖の父の門人であった縁から、1882 芳崖を紹介され師事することになる。観山の最初の号「北心斎東秀(ほくしんさい・とうしゅう」は芳崖が授けたとされ、10歳の頃には既にその名を使用していた。芳崖が多忙となると、1886 芳崖は観山の才能を更に引き出すために親友の橋本雅邦に預け、以降は橋本雅邦を師事。
13歳の頃、来日していた東洋美術史家のアーネスト・フェロノサらが主催する「鑑画会」に作品を出品。新聞で「年齢十三歳、橋本氏の門弟なるが、その揮毫の雪景の山水はあたかも老練家の筆に成りたるが如く、実に後世恐るべしとて、見る人の舌を振へり」と評され話題となり、13歳にして非凡な才能を発揮し、画壇の神童と称された。
1889 東京美術学校が開校すると、第一期生として入学。そこで岡倉天心の教えを受け、同期の横山大観、菱田春草らと切磋琢磨した。「観山」という画号はこの頃より使用し始める。「人あり、来つて塵世の事を問へば笑つて対えず、起つて山を観る」という詩からとられたもので、観山の性格をよく表しているといわれている。
やまと絵の線や色彩の研究に没頭し、調和を重んじた色彩と卓越した線描による独自の学風を作り出していった。卒業後は、そのまま美術学校の助教授となったが、1898 岡倉天心の辞職をきかっけに自身も美術学校を辞職し、横山大観ら同志とともに美術研究団体「日本美術院」を設立。日本絵画協会第一回連合展を開催し、観山はお釈迦様が火葬される場面を描いた『闍維(じゃい)』を出品し最高賞を受賞。翌年『日蓮上人』も制作。
1901 再び東京美術学校に教授として復帰。'03 文部省派遣留学生としてヨーロッパに渡り、イギリスの大英美術館や、イタリアのフィレンチェにあるウフィツィ美術館でラファエロの作品を日本画で模写するなど、色彩の勉強を第一目的とし、西洋画の研究を行う。観山の作品は古典的日本画の継承と西洋的色彩の融合と称されるゆえんは、この時の研究の成果となる。
'05 帰国後は、翌年より日本美術院が茨城県北部の五浦海岸へ移るとその地に移住し、岡倉天心、菱田春草、木村武山らと精力的に作品を描いた。'07 第1回文展に『木の間の秋』を出品。
'08 教授を辞任。同年、渋沢栄一や政治家の高田早苗らによって、観山や若い画家を支援するための「観山会」が創設された。'13(T2)より実業家で美術品収集家の原富太郎(原三渓)が「観山会」を生涯にわたり支援し続けることになる。また、岡倉天心没後、事実上解散状態にあった日本美術院の再興をはかり、'15 第一回再興美術院展が開催された。この第一回再興院展に『白狐』を出展。第二回に重要文化財に指定された『弱法師図』、第三回には『春雨』と大作を発表した。
'17 皇室により日本の優秀な美術家・工芸家の保護奨励を目的とした「帝室技芸員」に任命される栄誉を得る。'18 帝国美術院会員に推されたがこれは辞退した。晩年は古画の研究に打ち込む。やまと絵、琳派、宋元画の手法を究め卓抜な技法と清新な古典解釈がその画業を一貫し、筆技は近代日本画家中屈指といえる。'28(S3)フランス政府よりコンマンドゥール・カムボーシュ勲章を受章。
その他の主な作品は、『大原御幸絵巻』(1908)、『魔障図』(1910)、『鵜』(1912)、『天心先生』(1922)などがある。病床でも絵筆を握り、お見舞いでもらった『竹の子』を描いた作品が絶筆となった。享年57歳。