Eine Sage führt den Namen der Burg auf einen von drei Brüdern zurück, der seinen Geschwistern gerne Streiche spielte, weshalb sie ihn als Schalk bezeichneten. Weil er ohne Kinder blieb, ließ er folglich das Gerücht von seinem eigenen Tod verbreiten. Alsgleich eilten seine Brüder herbei, um Anspruch auf das Erbe zu erheben. Im argen Streit miteinander verwickelt, fragten sie weder nach der Leiche ihres Bruders noch zeigten sie Trauer. Kurzum, sie benahmen sich wie Scheusale.
Da trat plötzlich der Schalk in ihre Mitte und erklärte: »Jetzt kenne ich eure Gesinnung!« Als letzten Streich verkaufte er schließlich seine Burg mitsamt der Stadt Balingen heimlich an Württemberg. Obendrein für den lächerlichen Betrag eines einzigen Hirschguldens. Bekannt ist die Sage durch die Rahmenerzählung »Das Wirtshaus zum Spessart«. Dort lässt Wilhelm Hauff den Zirkelschmied von der Entstehung der Schalksburg erzählen.