说起这座古寺，还有着一段动人的传说。说是三国时期，西城康居国大丞相有一个大儿子，单名叫会。他不恋富贵，看破红尘，立志出家当了和尚，人称“康僧会”、康僧会秉承佛旨，来到中华弘传佛法，广结善缘，他东游于上海，苏州一带。
一日，来到龙华荡，见这里水天一色，尘辙不染，认为是块修行宝地，就在这里结庐而居。他不知道，这里之所以景致幽静不凡，是因为广泽龙王在这兴建了龙宫。广泽龙王见来了个和尚居住，心中很不高兴。一时起了恶念，要兴风起雾，掀翻和尚的草庐、把和尚吓走。可是龙王突然发现草庐上放射出一道毫光，上有五色祥云，龙王吃了一惊，他挨近一看，见康僧会神色端详，正在打座诵经。龙王听了一会儿，被和尚所诵的佛旨所感动，他不仅打消了原来的恶念，还走上前对康僧会说：自己愿望回东海去住，把龙王宫让给康僧会，用来兴建梵宇。康僧会接受了龙王的一番好意，他就把龙宫改建龙华寺，还专程赶到南京拜会吴国君主孙权，请他帮助建造佛塔，好安置自己所请到的佛舍利。就这样，在龙华寺中又建了１３座佛塔，安放１３颗佛舍利。
孙权建龙华塔的故事，在上海妇孺皆知。但这只是具有神话色彩的传说。从历史记载来看，龙华寺和龙华塔大概建于北宋年间。不管怎样，龙华寺是一处上千年的历史古迹，从明代时候起，“龙华晚钟”就是“沪城八景”之一。
像龙华寺这样的古迹，上海还有不少。但作为一座城市，上海还是比较年轻的。明代以前，上海还是些零散的乡镇。明代嘉靖年间，为了抵抗倭寇侵扰，修筑了城垣，渐渐地就形成了城市的规模。不平等的《南京条约》签订之后，上海成了五个通商口岸之一。帝国主义列强争相在这里辟租界，设银行，办工厂，把持了航运和金融。上海成了“冒险家的乐园”，号称“十里洋场”，但人口在不断增加，并形成了一个工业基地。
今天，上海已经摆脱了殖民地的处境。解放后经过几十年的建设，上海成了中国最大的工业基地和商业中心，并且跨入了世界超级名城的行列。
