Ett av de fem berömda bergen i Kina kallas för Sung Shan. Sung är inte en bergstopp, utan en grupp av toppar. Denna bergsgrupp kan delas in i två grupper, Tai Sut och Siu Sut. Avståndet mellan dessa två grupper är nästan 3 mil, där Siu Sut är den mest västliga gruppen som sträcker sig 6 mil med mindre bergstoppar. På den ena sidan finns det fem bergstoppar som kallas for Ng Yu Fung. Bak Siu Lam templet ligger nära foten av Ng Yu Fung, nära staden Dang Fong i Huo Lam provinsen i norra Kina.
Eftersom templet byggdes i en liten skog i Siu Sut så kallas det för Siu Lam (liten skog) templet. Ursprungligen uppfördes templet, 495 e Kr av kejsare Han Man Dai, med syftet att sprida lärdomen om den buddistiska religionen. En indisk munk vid namn Bat Tuo installerades som abbot. Trettiotvå år senare kom en annan indisk munk vid namn Dat Mo över Himalaya i Kina, för att slutligen slå sig ner i Siu Lam templet. Han började där en period av meditation, i nio år, vänd mot en vägg.
Efter denna inledande period utfärdade han Yit Gun Ging, en muskel förändrande övning som han använde för att bibehålla sin hälsa och fysisk kondition under sina år av meditation. Dat Mos största ära till berömmelse är att han var den första läraren i Sim (Zen) buddhismen i Kina.
Senare, under Bak Jau dynastin förbjöd kejsaren Mou Dai (572-575 e.Kr.) att öppet utöva både buddhismen och taoismen. Under denna period på tre år, var templet stängd. Under regeringstiden av kejsaren Jing Dai (579-580 e.Kr.) öppnade templet upp på nytt under namnet Ji Gu Ji.
Namnet ändrades tillbaka till Siu Lam Ji av kejsaren Man Dai (581-600 e.Kr.) under Chou-dynastin. Dessutom fick templet hundra kinesiska hektar mark av kejsaren.
Templet nådde sin höjdpunkt av berömmelse under Tangdynastin som startade 626 e.Kr. Innan grundandet av dynastin, frågade framtiden kejsaren Lei Sai Man templet om hjälp mot två rivaliserande generaler heter Wong Sai Chung och Wong Yan Jap. Templet skickade tretton livvakts munkar. Deras namn var Pou Wai, Sin Wu, Ming Sung, Ling Hin, Do Gong, Po Sang, Ji Hing, Ji Chou, Jang Mun, Tan Jung, Ji Sau, Wai Yeung, och Jang Fung.
Eftersom dessa munkar var duktiga fighters, så hjälpte de inte bara Lai Sai Man vinna slaget, utan lyckades fånga de rivaliserande soldaterna vid liv. Med detta blev Siu Lam templet både både berömt och förmöget.
Efter detta kallades templet "nummer ett tempel under himlen". När Lai Sai Man blev kejsare i 627 e.Kr. utökades templets mark till tio tusen kinesiska tunnland och byggdes ut till fem tusen sovsalar och andra byggnader byggdes för att kunna husera över två tusen munkar. Detta förutom de fjorton huvudtempel byggnaderna.
Tre uppsatta munkar vid denna tid var Wan Jung, Ji Chou och Wai Cheung. Wan Jung, chefen gjordes till heders general i Lei Sai Mans armé. Under fredstid var han fri att fortsätta sina buddhistiska studier, men i en tid av krig, måste han att återgå till sin militär kommission. Dessutom tilläts 500 krigsmunkar bilda vad skenbart var en stående armé. De agerade tempelvakter.
Templet har tagit skada vid flera tillfällen. En stor skada var under Ching-dynastin (1644-1911 e.kr.) där lojalister av tidigare Mingdynastin (1368-1644 e.kr.) använt templet som högkvarter. Regeringen fick reda på detta och störtade rebellerna, dödade flera hundra personer och förstörde hundratals tempelbyggnader. Den värsta skadan uppstod under ett inbördeskrig år 1928. De två generalerna Sek Yau Sam och Shin Jung Sau anföll templet för att utmanövrera General Fon Jung Sau som hade templet som ett högkvarter. Den 15 mars 1928 vann Sek Yau Gam slaget och gick in i templet. För att munkarna begått en krigshandling, genom att inhysa Fon Jung Sau, satte Sek Yau Sam eld på tempelområdet som brann utom kontroll i fyrtio dagar. Vissa strukturer reparerades, men de flesta var förlorade för alltid.