Der erste Band enthält Stifters bekannte programmatische Vorrede über das "sanfte Gesetz", danach eine Einleitung und die ersten drei Erzählungen: Granit, Kalkstein und Turmalin. Der zweite Band enthält die Erzählungen Bergkristall, Katzensilber und Bergmilch. Stifter bezeichnet Bunte Steine zwar als "Spielereien für junge Herzen", aber entgegen den kindlichen Hauptfiguren in Bergkristall und Granit ist es kein Kinder- sondern eher ein Jugendbuch. Geplant war wohl zuerst eine umfangreiche Buchreihe, denn am Ende der Einleitung heißt es: Weil es unermeßlich viele Steine gibt, so kann ich gar nicht voraus sagen, wie groß diese Sammlung werden wird.