奈良県奈良市出身。本名は延貴(のぶたか)。旧漢字は小劍。代々は奈良県奈良市にある手向山八幡宮の神主をつとめる家柄。曽祖父の上司延興(1756-1828)は江戸時代に活躍した神主。父の上司延美(通称は仲臣)は二男であったことから奈良を出て、兵庫県多田村(川西市)にある摂津の多田神社の神主を務めることになる。そのため幼少期は兵庫県多田村で育つ。1887(M20)小学校卒業後、母の実家である大阪に預けられた。
1889(M22)大阪予備学校に入学したが、1893 父の死去に伴い退学し、奈良の本家から受けていた経済援助を断り、小学校の代用教員になった。大阪の浪華文学会に入り文学に親しむ。西村天囚の指導を受け、堺利彦を知る。1897(M30)堺利彦の勧めで上京し、読売新聞社に入社した。1910(M43) 文芸部長 兼 社会部長を務め、'15(T4)編集局長 兼 文芸部長 兼 婦人部長を務める。在社中に正宗白鳥(24-1-8)、、徳田秋声、島村抱月らと知り合い交流を深め、自然主義文学者を知る。また堺を介して幸徳秋水、白柳秀湖(25-1-29-1)ら社会主義者とも交わった。この交友の広がりが、作風に自然主義文学にはない社会への目配りをもたらすことになる。
1905 読売新聞に連載していたエッセイをまとめた『その日その日 小剣随筆』を発表し、ペンネームを上司小剣として作家の第一歩を踏み出した。'06 雑誌「簡易生活」を創刊し小説に着手。'08 第一創作『灰燼(かいじん)』や「新小説」に発表した處女作『神主』、'11 読売新聞に初めての連載『木像』、'13『金魚のうろこ 短文集』など、活発な創作活動を続けた。
'14(T3)「ホトトギス」に半世紀を描いた自然主義的写実小説『鱧(はも)の皮』を発表し、田山花袋(12-2-31-24)に賞賛され、文壇的地位を獲得した。『鱧の皮』は関西の生活文化に根ざした小さな社会的ドラマを人情の機微を的確に描きだしながら写生文のスタイルで提示するところに特徴があった。その他にも、少年期に母が亡くなり、父が第二、第三の妻を迎えたことや、実母の家に預けられるまでの兵庫での体験や神社と神主を題材とした作品『父の婚礼』『第三の母』『天満宮』『石合戦』などを執筆刊行。
'20 読売新聞社を退社した後も旺盛な執筆活動を継続。『ユウモレスク』(1924)、『U新聞年代記』(1934)など多数刊行した。'36 文芸懇話会の機関誌「文芸懇話会」の編集にあたる。'37(S12)帝国芸術院会員。'42 幕末の国学者、歌人、勤王志士として活躍した伝記小説『伴林光平(ともばやし みつひら)』を描いた作品で、第5回菊池寛賞を受賞した。
戦後、'46 芸術院会員。同年、着手してから二十数年が経ち、第三部を出してから十八年が経っていたが、集大成として長編『東京』四部作(第一部 愛欲篇 T10.2.20-7.9・第二部 労働篇 T10.7-T11.8・第三部 争闘篇 T12.1-10)の第四部・建設篇を雑誌「東宝」にて連載を開始。しかし、'47.3 中絶。編集室より「百枚書いていただいた『東京』も連載を打ち切ることになった。以下、二百枚完成の上は、単行本として刊行される予定である」と発表されたが、この頃より体調がすぐれず、同.9.2 脳溢血で意識を失い回復することなく逝去。享年72歳。『東京』は未完となった。