カッパウィは、まるで2人の僧がカッ（笠）を被っているように見えることからカッパウィ（笠岩）と呼ばれています。 カッパウィには複数の伝説がありますが、まず1つ目の説は、悟りの境地に至った僧が栄山江を渡り羅仏島にあるタッ島へ行こうとする途中、休憩した所に被っていた笠と持っていた杖を置いたものが岩となったとする説があります。また、月出山で修行をしていた僧が弟子の僧を連れて木浦に必要な物を調達しに栄山江を渡ろうとしたところ、弟子の僧がはぐれてしまい川を渡りきれず石となって固まってしまったという伝説があります。 また別の説には、木浦で病を患った父親の面倒を見ていた若者が、父親の薬代を稼ぐために家を出たところ、その間に父親が死んでしまい、その若者は自分の親不孝さを謝罪するために食事も取らず笠を被り謝罪し続けていたところ、石になってしまったという説もあります。