„Brązowa Dama” została tak nazwana ze względu na brązową brokatową sukienkę, którą podobno nosi. Ma być to duch Lady Dorothy Walpole (1686–1726), siostry Roberta Walpole'a , pierwszego premiera Wielkiej Brytanii. Dorothy była drugą żoną Charlesa Townshenda, który był znany ze swojego gwałtownego temperamentu.
Dorothy miała zdradzać swojego męża, a kiedy ten odkrył cudzołóstwo, zamknął ją w Raynham Hall do końca życia nie pozwalając opuścić jej posiadłości.
Po raz pierwszy dych miał być widziany w w Boże Narodzenie 1835 roku. Lucia Stone, która spędzała tam święta, relacjonowała, że „Brązowa dama” była widziana przez kilka osób, kręcącą się koło swojej sypialni. Następnego wieczoru miała być znowu widziana, zwracała uwagę jej niemodna sukienka i puste oczodoły, które straszyły na twarzy.
W 1836 r. kapitan Frederick Marryat, przyjaciel powieściopisarza Charlesa Dickensa i autor serii popularnych powieści o morzu chciał spędzić noc w rezydencji, aby udowodnić, że „brązowa Dama” jest wymysłem. Jego zdaniem był to wymysł lokalnych przemytników, którzy chcieli, aby niepowołane osoby nie zbliżały się do tego miejsca. W 1891 roku córka kapitana, Florence Marryat opowiedziała o spotkaniu ojca z damą. Ojciec spotkał ją w Raynham Hall będąc w towarzystwie innych osób. „Brązowa dama” uśmiechnęła się do niego diabolicznie, a on nawet strzelił w jej twarz. Wówczas duch zniknął, kula utkwiła w futrynie. Marryat nigdy więcej nie chciał sprawdzać, czy duch „Brązowej Damy” istnieje.
„Brązową Damę” widziano następnie w 1926 r. Kolejna już lady Townshend twierdziła, że jej syn i jego przyjaciel widzieli ducha na klatce schodowej, identyfikując upiorną postać z portretem Dorothy Walpole, który cały czas wisiał w nawiedzonym pokoju.
19 września 1936 r. Kapitan Hubert C. Provand, londyński fotograf pracujący dla magazynu Country Life, i jego asystent Indre Shira, robili zdjęcia Raynham Hall do artykułu. Kiedy robili zdjęcia w środku, nagle na schodach miało się ukazać coś jak para wodna, układająca się na kształt kobiety. Szybko zrobili zdjęcie, na którym rzekomo sfotografowali ducha. Relacja z tego spotkania w Raynham Hall została opublikowana w magazynie Country Life 26 grudnia 1936 r. wraz ze zdjęciem „Brązowej Damy”. Zdjęcie i opis jego wykonania ukazały się także w magazynie Life z 4 stycznia 1937 r.
Niektórzy sceptycy twierdzili jednak, że zdjęcie zostało sfałszowane lub taki efekt został wywołany podwójnym jego naświetleniem. Wizerunek do złudzenia przypomina też posąg Marii Panny, jaki można znaleźć w wielu kościołach katolickich.
To zaś sugeruje, że zdjęcie jest prostym nałożeniem figury Matki Boskiej na pustą klatkę schodową.
