JR奥多摩駅の西、徒歩約40分。奥多摩駅から国道411号線(青梅街道)沿いに細い旧青梅街道が延びており、現在は約10kmの遊歩道「奥多摩むかし道」として整備されている。その途中ほぼ奥多摩駅と奥多摩湖の中間のところにある。 遊歩道から石段を登った先の白髭神社に覆いかぶさるように巨岩があり、訪れた人を圧倒するような迫力がある。この巨岩は高さ約30m、幅約40mの石灰岩の断層面の大露頭で、断層形成時の擦痕を見ることができ、東京都の天然記念物に指定されている。 白髭神社はこの巨岩を御神体としている。