平塚には頼朝の祈願寺社が多くあります。城所の貴船神社境内の三面大荒神は、昔この貴船神社境内にあった常蘇寺という寺院の観音堂にまつられていたといいます。
鎌倉時代、源頼朝の妻政子が難産のため、安産祈願を常蘇寺に命じました。しかし、生まれた子が夜泣きして止まないので三面大荒神に祈願したところ、たちまち泣き止んだので、以来「泣き荒神」といわれ、夜泣き止めの神としてまつられるようになったといわれています。