Tetapi sejak tahun 1829, kepopuleran batu Kalimaya memudar karenan sebagian masyarakat mempercayai bahwa batu jenis Kalimaya bisa menimbulkan malapetaka, hingga kematian. Keyakinan itu mengacu pada cerita tragis seorang bangsawan wanita yang selalu memakai batu Kalimaya yang memiliki kekuatan supranatural.
Ketika batu yang dikenakan terkena cipratan air suci, segera batu Kalimaya miliknya berubah menjadi batu kasar dan sang bangsawan tidak lama berselang meninggal. Cerita yang disampaikan dari mulut-ke mulut itu berimbas pada penjualan batu Kalimaya yang anjlok di Eropa. Kepercayaan ini terbawa hingga saat ini dan terus berkembang dengan menganggap batu Kalimaya merupakan perwujudan dari mata setan.
Lalu bagaimana dengan orang di Indonesia? Sebagian masyarakat di Indonesia juga memiliki dua pandangan yang berbeda terkait batu Kalimaya. Ada yang mempercayai batu Kalimaya membawa pengaruh baik terhadap pemiliknya. Bahkan batu Kalimaya juga dipercaya bisa membawa kebahagiaan kepada pemiliknya. Dan suasana hati si pemilik bisa terlihat dari kilap batu Kalimaya yang dimiliki.
Apa bila bercahaya berarti pemiliknya sedang merasakan kebahagiaan dan jika meredup maka menandakan pemiliknya sedang ditimpa rasa murung.
Namun tidak sedikit juga yang percaya batu Kalimaya hanya membawa nasib buruk. Mereka percaya batu Kalimaya bisa meningkatkan nafsu birahi si pemilik yang membuat pikiran kacau dan mengganggu urat syaraf.
Selain itu, wanita baik-baik dipercaya akan berubah menjadi nakal jika mengenakan batu ini. Masyarakat Cina bahkan menganggap batu Kalimaya bisa mengganggu rumah tangga dan memberi dampak buruk bagi kesehatan pemiliknya.
Ada pula kepercayaan lain yang mengatakan jenis batu Kalimaya Hitam atau Black Opal tidak boleh dimiliki oleh sembarang orang. Pasalnya, jika tidak cocok maka batu Kalimaya itu akan membawa bencana bagi pemiliknya. Tapi jika cocok, maka akan membawa kebahagiaan buat si pemilik.