临江,是文县开发较早的地方,原始氏族时期已有人类活动。据考古发现,临江坪和蒋家湾新石器时期寺洼文化安国类型遗址（有陶片、罐盆器具）,杨家湾有齐家文化遗址。

据有关研究人士考证表明,临江即古葭芦镇,三国时姜维驻戍,与邓艾屡战于此。南北朝时,为氐人杨氐人杨氏武都国、阴平国都址。境内牡丹寺,始建于光绪年间（1885年）,迄今已有100多年历史,几经重建,如今更具特色,为当地一胜景。自古以来,临江设有渡口。明代诗人冯时雍《临江晚渡》诗曰：文州尽日渡江关,烟锁秋林鸟正还。鼙鼓入云山漠漠,马蹄踏栈水潺潺。阶民候火迎官府,蜀客囊金趁市寰。附峪柴扉多隐约,题诗聊并画图看。明代诗人兵备、许路《宿临江》诗曰：夜深灯火宿临江,又逐鸡声促晓装。行盖润沾连日雨,征衣寒袭两山霜。书生用武三千字,老将屯兵十二万。但愿峰烟息万里,不炉尘土日奔江。

距临江街南三里许的羊儿坝,古有横跨白龙江的木桥,村民称之为临江桥。至今有邑举人张尔翮《临江桥碑记》,曰：文之北,距县城百里许,有临江驿。临江者,临白龙江也。水自武都来,东南注,至玉垒关与文之白水合。而此驿适当冠往来之所,波流中冲激,非桥莫济。此临江桥之设,由来旧矣。然屡修屡圯。望详者。每须舟师力,故又称临江古渡云。康熙甲子岁,守戍马公,乃重建之。解放后。1957年文武公路通车后,南来北往的汽车在羊儿坝渡船过江,非常不便。境内的白龙江大桥始建于1965年,是白龙江上最早建成的公路桥梁,因坐落在羊儿坝村旁,又称羊儿坝公路大桥。