本书讲海丝特·白兰是个年青漂亮的女子,出生于英格兰的一个古老的世家。她有深黑的眼睛,浓密而乌亮的头发,端正而美丽的五官,身材细长,给人以深刻的印象。她嫁给一个年老的学者罗格·齐灵窝斯。当时正值英国向美国移民时期。她的丈夫决定定居到美国波士顿。他先把妻子送去,自己留在英格兰处理未了的事务。可是,罗格过了两年才去美国。这时白兰却和一个年青的牧师犯了通奸罪,并生下了一个女孩。按当时清教徒的法律,犯了通奸罪,必须在胸前佩带红A字,处以示众的惩罚。
正当白兰从监狱被带到枷刑台示众那天,罗格来到美国。他是个年纪衰老、矮小的男人,有着苍白瘠瘦的学者般的面孔,晦暗的眼睛;他的左肩比右肩高一些,穿着怪模怪样的衣服。他一眼就认出了自己的妻子,一种辗转不安的恐怖,犹如毒蛇急剧地缠住了他的身子,他的脸色阴暗了。但就在这一刹那间,他又以意志力**住了自己。当他发觉白兰也认出他时,他缓慢而平静地举起他的一个手指,在空中作了一个手势,接着又把手指压在他的唇上,那意思是说叫她不要声张。
海丝特·白兰被带回监狱后,罗格以医生的身份去探狱。他要白兰说出奸夫的姓名,她不肯说,却公开对罗格说,她不爱他,在他那里她感觉不到