在南澳岛的传说中，藏有富可敌国的巨大宝藏，金银珠宝堆积如山。关于这份宝藏的故事，从宋朝末年就开始在岛上流传，而到了明代，这个传说又被海盗们所继承。不过，最著名的则是关于逃亡中的宋朝末代皇帝赵昰和他的弟弟赵昺。在他们眼看追兵即将逼近之际，他们决定留下一部分珍贵财宝于岛上，并在附近的一块石壁上刻下了文字，以便日后能找到。
《南澳志》记载，南宋末帝曾居住于此地15天，而且是在太子楼。这与民间流传的藏宝地点相符，因为那里的巨石正是据说隐藏着宝藏的地方。但要想获得这些石头中的秘密财富，就必须破解那些摩崖石刻上的古老文字。
当地居民相信，在皇室离岛之前，一些金银财宝曾被放入一个隐蔽的地方。而如果有人能够正确诵读这些磨损严重、残缺不全的文字，那么这个秘密空间就会自动开启，让寻找者获得所有珍贵物品。尽管时间已经过去很久，但由于年代久远，这些文字至今仍然难以辨认，使得人们几乎无法理解其含义。直到今天，这批珍贵财富依然未被人发现。
