聖武天皇の発願により、747（天平19）年に、良弁が聖武天皇の念持仏であった如意輪観音をこの地にまつったのが始まりとされています。境内には寺名の由来となった天然記念物の硅灰石（けいかいせき）があります。源氏物語で有名な紫式部は新しい物語をここで考えたと言われています。また、近江八景の一つ「石山の秋月」としても有名です。