慶応2年（1866年）4月8日、現在の三重県鈴鹿市加佐登において「荒神山の喧嘩」が勃発しました。時は徳川幕府による長州征伐の噂でごった返していた時代のことです。むろんそういうニュースは仁吉の住んでいる三州吉良にも伝わっていました。

その年の三月も終わりに近づこうとする頃、次郎長の縄張りでいざこざがあり、次郎長の子分、大政らが百姓の家を焼いてしまう事件がありました。世間の手前、大政らは清水にいられなくなり、仁吉の下で厄介になっていました。

そんな頃、縁あって兄弟の杯を交わした神戸長吉（かんべのながきち）が仁吉を尋ねて来ました。仁吉は長吉との久しぶりの再開を喜び、長吉は仁吉を尋ねて来た訳を話しました。

長吉は黒田屋勇蔵の子分で、当時伊勢きっての大親分になっていた穴太徳（あのうとく）とは、もともと心を許しあった兄弟分の関係でした。
ところが親分の黒田屋勇蔵が仏心をおこして出家した後、角井角之助の陰謀にはまって4年間入牢している間、勢力拡大を目論む穴太徳に縄張りを奪われてしまいました。

仁吉はわざわざ自分を頼ってきてくれた長吉の思いに応えるため、大政ら総勢22人で伊勢湾を渡りました。仁吉らは加佐登神社で戦勝祈願をして、穴太徳率いる総勢130人と血戦に臨みました。

博徒同士の戦場は混戦で勝敗はわかりません。穴太徳側の頭領、角井門之助は「まず、大男を撃て」と部下に命じました。仁吉、大政とも長身だったからです。二人とも奮闘しましたが、仁吉は穴太徳側の猟師の銃弾を受け、身動きの取れないところを角井門之助に斬られたため、血しぶきをあげて倒れました。これを見た大政は仁吉を助けに行き、槍で応戦して角井門之助を討ち取りました。穴太徳側は頭領を倒されてしまったので狼狽して逃げていきました。

穴太徳側の戦死者は5人、仁吉側の戦死者は2人、重傷者は仁吉を含め9人でした。
敵の残した刀槍を片付けて石薬師に引き上げたところで仁吉は息を引き取りました。

荒神山の喧嘩の後、次郎長は翌年5月「仁吉の弔い合戦」と称して、子分500名近くを携えて穴太徳に喧嘩を挑みました。次郎長は戦いに勝利し、伊勢を配下に収めました。

仁吉には『いち』という姉がいて、その息子の記憶によると「仁吉は6尺近い大男で、あばた顔の左アゴに少し傷があって、おまけにちょっとドモリであった。ただし、評判の孝行者で非常に腕が立った」と述べていたそうです。

また、生来無口で丸顔の容姿から『だんまり地蔵』というあだ名がつけられていたと伝えられています。

【奉納相撲の後の喧嘩で仁吉一人で戦う】
18歳で初土俵に立った奉納相撲で仁吉があまりの強さで勝ってしまったため、家に帰る途中、負かした相手連中と喧嘩になりました。
仁吉の仲間は後で喧嘩になることを予想していたため、帰りは仁吉を護衛してやろうと考えていました。
ところが仁吉は「味方が多くなれば、敵の数も多くなる。お互い命がけで戦えば、どれだけ多くのけが人が出るとも限らない。いざとなったら一人の方が気楽で勝手もいい。」と思い、仲間をまいて一人でその場所を後にしたとのことです。

【縄張り荒らしを成敗】
仁吉が清水の生活で3年が過ぎ、清水一家の中で頭角を現してきた頃、次郎長の縄張りで洲本の平七という男が、何の挨拶もなく勝手に堵場を開いていました。
相手にするほどの男ではありませんでしたが、縄張り荒らしを見過ごすわけにはいかず、仁吉は次郎長の代理で平七の成敗に向かいました。
平七は清水に仁吉がいることを知っており、仁吉が堵場に現れて凄んだとたん、その場に居合わせた連中はみな色を失い、平七は観念し平謝りしました。
そこで仁吉がとった行動は、平七をボコボコにするわけでもなく、平七に向かって「たまたま近くの居酒屋で呑んでいて、ふらっとこの堵場へ見物しに来ただけだろ」と平七が次郎長の縄張りで自ら堵場を開いたことは見て見ぬふりをして見逃してやりました。
この一件を丸く治めてきた仁吉の話を聞き、次郎長はたいそう満足したそうです。

【寺津の間之助との出会い】
仁吉が18歳の時、初土俵を踏んだ奉納相撲の帰り道で、負かした相手グループの十数人に仕返しに合い、そこで助けてもらったのが寺津の間之助でした。
寺津の間之助は、奉納相撲の土俵に立った仁吉の男っぷりに惚れ込み、気が向いたら尋ねてこいとその場で約束しました。

【仁吉、人を殺める】
寺津の間之助との出会いから約1年後、仁吉が知り合いに誘われ賭場へ出かけた際、素人の旦那がやくざにいためつけられているのを目の当たりにしました。
仁吉はその場を見ていられず口を挟んだら、やくざ衆が襲いかかってきました。始めはかわして逃げるつもりでいましたが、後から槍を持った浪人が現れ無我夢中でかわしていたところ、どうにも我慢できなくなり相手の持っていた槍で浪人を殺してしまいました。

【仁吉、清水への旅立ち】
仁吉は賭場からその足で寺津の間之助のところへ向かい、堵場での出来事を間之助に話し、子分にしてほしいと懇願しました。
寺津の間之助は、仁吉の度胸と人柄から将来立派な侠客になると思い、兄弟分の清水次郎長の下で修行することを勧め、翌朝、仁吉は清水へ旅立って行きました。

※吉良の仁吉の墓がある源徳寺墓地の説明板による。ちなみに尾崎士郎著『吉良の男』によると、天保10年12月20日生まれと記されている。