A puritán Új-Angliában, ahol a regény játszódik, a házasságtörést súlyos bűnnek tekintették, és az ilyen cselekményekben bűnösnek talált személyek súlyos következményekkel szembesültek. A skarlát betűt Hester Prynne-re kényszerítették, állandó emlékeztetőül vétkére, és kénytelen volt nyilvánosan viselni, bárhová is ment.
Azzal, hogy Hestert a skarlátvörös betű viselésére kényszerítette, a puritán társadalom meg akarta büntetni, elrettenteni másokat hasonló bűnök elkövetésétől, és fenntartani szigorú erkölcsi kódexét. Ez a nyilvános megaláztatás egy formája volt, és egy eszköz volt Hester és törvénytelen lánya, Pearl megbélyegzésére a közösségükön belül.
A regényben a skarlát betű különféle szimbolikus jelentéseket kap. Kezdetben szégyent, bűntudatot és büntetést jelképez, de a történet előrehaladtával Hesternek erő, bátorság és kitartás forrásává is válik. Hester növekedése és átalakulása a regény során kihívás elé állítja puritán közösségének szigorú erkölcsi ítéleteit és merev társadalmi normáit.