越前国石場町に生まれる。生家は、紙商、父親は正玄五郎衛門。
彼は長男として生まれ、名は五三郎茂時。後に橘曙覧と改名。
２歳で母に死別、母の実家、府中（越前市）酢醸造山本平三郎家で成長。山本家は、代々学問を大切にし文化人との交流がある家。
15歳で父と死別。仏門に入ろうと妙泰寺の明導上人に仏学を学ぶ。明導上人は漢籍に通じ詩歌を能くするを以って之を習得する。

妙泰寺境内に「橘曙覧幼学に地」と題された石碑があり、歌碑が大樹の木の下にある。
「樵歌（きこりうた）鳥のさひづり水の音　ぬれたる小草雲かかる松」

実家に戻り天保３年に結婚。同１０年に家業を弟の宣に譲ろ。その後、飛騨の田中大秀に入門。独学で歌人としての精進を続ける。妻子を門弟からの援助等で養い、清貧な生活に甘んじた。彼の学を伝え聞いた、松平春嶽の寵愛をうける。後年、正岡子規に、源実朝以来、歌人の名に値するものは橘曙覧ただ一人と絶賛され、彼の名は文学史に残るものとなった。「清貧の歌人」というのは、子規が彼を評していったものと伝えられる。