苍溪县，地处四川盆地北边缘。嘉陵江由北向南流过县境，县城陵江镇位于嘉陵江的西面，三面环水，是一座山区小城，其历史可上溯至新石器时代，春秋时设县，古时有“秦陇锁钥”之称。
城西二里许有一古渡口名“临江渡”。唐广德元年(763年)大诗人杜甫送客至此渡口并写下“送客苍溪县，山寒雨不开。直愁骑马滑，故作泛舟回。青惜峰峦过，黄知橘柚来。江流大自在，坐稳兴悠哉。”诗句。苍溪人为纪念诗圣此行在江边建亭，并在亭东刻“放船台”三字。南宋诗人陆游北上南郑游此亭，题留“最忆苍溪县，送客一亭绿”句。
据记载：明代在该亭左侧石崖上凿洞奉佛，明成化年间，四川督学吴智的《舟泊苍溪题》七律诗中有“居民依麓茅为舍，古寺栖岩石作床”句。清乾隆二十六年(1771年)知县余大鹤修筑城垣在此取石，兼顾建寺，因位于临江渡，故名“临江寺”。道光二十八年(1818年)知县泽宽完成慈云阁和两侧石殿。同治十年(1871年)知县蔡懋康再次扩建，在慈云阁两侧各增一洞，巧架石廊，泥塑、石雕神像数十尊，配置木结构亭、台、轩、树，绕以石栏、围墙，最成规模。入山门向右循石级扶栏而上，有八仙洞。寺正中底层为石凿韦驮殿，门上石匾有书法家宋灏书写的“嘉陵第一楼”。