在南澳岛的传说中，藏有富可敌国的巨大宝藏，金银珠宝堆积如山。关于这份宝藏的故事，从宋朝末年就开始在这个小岛上流传，并且到了明代，又添上了海盗留下的珍贵财物。不过，最引人入胜的秘密，是关于逃亡中的宋朝末代皇帝赵昰和他弟弟赵昺。
据说，小皇帝赵昰和他的弟弟在逃往南澳岛时，他们知道追兵不远了，便决定留下一部分珍贵的物品作为遗产。在离开前，他们将这些财宝埋在地方石壁附近，并用石壁上的文字记录下来，以便日后能找到他们留下的财富。
《南澳志》记载，宋朝末年的太子曾经在这个岛上居住了15天，他甚至住过太子楼。这与民间流传的一则神秘传说相呼应，这个传说的核心是藏匿着巨大的宝藏，而那个地方就在离太子楼几十米远的一个巨石堆里。但要想获得那里的宝藏，就必须解开那些摩崖石刻上的谜题。
当地居民相信，当宋朝皇室离开这里时，他们把金银财宝放在一个隐蔽的地方，只要能够正确读出那些文字并解释它们的意义，那块巨石就会自动打开，让寻找者得手。而今天，由于时间已经过去很久，那些文字变得模糊不清，只剩下35个字母，而且每个字都被风化严重，使得它们几乎无法辨认。经过千年的沧桑变迁，那些珍贵的小玩意儿至今仍未被发现。