古云：“天下名山僧占多”，“山不在高，有僧（仙）则名”，石林寺始建于万历元年1573年，是由无用和尚结茅为庵，肇始开基，经清康熙、乾隆、咸丰年间多次维修扩建，到清末已有僧侣百余人，成为粤东四大名寺之一（与潮州开元寺、阴那山灵光寺、莲花山莲花寺齐名）。到了20世纪40年代，这座石林寺已湮没，1995年重新开放修复，现已形成一定规模。
传说，石林寺是由平远县河头镇人“如愚”祖师所创。如愚祖师在俗时姓刘，生有五个儿子，家中富有，颇有钱财。儿子长大后都分了家，并各自有家室，祖师丧偶独居。有一年过年的除夕之夜，祖师想，过年了，不用自已烧火做饭，儿子们会来叫父亲去吃年夜饭的。但是，结果却没有一个儿子叫吃饭。到了晚上八九点钟了，几个孙子过来向祖师讨利是（红包）时，便顺口问：“阿公，吃了饭没有？”祖师说：“现在还有谁未吃？连狗也吃了”。说完便连夜带着巨款来到五指石山下当和尚，建石林寺。祖师觉得自已多子多钱都无用，便化名“无用”，叫无用禅师，又因时俗不能行道、尊德，如若愚顽，遂又取法号“如愚”。祖师建寺时已年过半百。
现寺内有镇寺“三千斤”之称，即有生铁所铸的佛像、大钟、香炉鼎各均重一千斤。原寺的大门联为：
石室不须金锁闭
林园自有白云封
过去，每年的重阳庙会，这里便是闽、粤、赣三省香客、游 人云集之地，热闹非凡。清朝有一礼部尚书黄锦曾到此游山问禅，并题诗作赋：
石林高几许，金刹隐中峰。
白日空山梵，清焱静夜钟。
小窗扶嫩壁，危蹬依长松。
坐听无师语，何时锡杖从。
