报国寺原址关王庙，也是淀山湖畔一座著名的古庙，建于明代，明崇祯十三年（1640年）重修，至今庙内仍保存着崇祯年间的一块石碑。因祀三国名将关羽，故名“关王庙”。百多年以前，关王庙香火极盛，佛事空前。以后几遭战乱，建筑大部分被毁，至四十年代末期，仅存东、西两殿。殿内有石碑两块，大铜钟一口，钟上有大姆指大小的一尊金弥陀，金弥陀金光闪烁，价值连城，后被人窃去，铜钟也在1958年被毁，至此，关王庙大部分遭损，香火日趋衰落。但是，关王庙盛况人们并没有忘却，庙后的一株古银杏就是历史的见证。
80年代初，关王庙得以重新修葺，香火日盛，89年，关王庙定为上海玉佛寺下院，取名报国寺。是年，从新加坡请来汉白玉释迦牟尼、观世音佛像各一尊，供奉寺内，91年新建观音殿一座，高两层，建筑面积950平方米，上层为玉佛殿，下层供一丈二尺余高的香樟木观音佛像。现在的报国寺，总占地面积达38.5亩，建筑面积5000多平方米，气势恢宏，香客盈门，堪与苏杭古刹媲美。