Ved udflytningen af kirkegården i 1814 blev der ikke bygget et kapel. Derimod lå der en gæstgivergård ved den indgangen fra Carstensgade. I denne var der en ligstue, hvor den afdøde kunne ligge frem til begravelsen. Den brændte i 1840erne og det var med til at øge behovet for et kapel på kirkegården.
 
I forbindelse med udvidelsen af Den Gamle Kirkegård i 1860erne, blev det besluttet at bygge et kapel på kirkegården. Kapellet blev tegnet af den berømte tyske arkitekt Johannes Otzen. Han udarbejdede to forslag til udformningen, et hvor det blev bygget som en længe og et hvor det var planlagt som et korskapel. Kirkegården var på det tidspunkt ejet af kommunen, og det var derfor kommunens politikere, i samarbejde med kirken, der valgte den enkle form.
Kapellet fungerede indtil det blev afløst af det nuværende kapel i 1976.
 
Allerede i slutningen af 1950erne fremkom ønsket om at bygge et nyt kapel, da det gamle var for lille og samtidig efterhånden fremstod i dårlig bygningsmæssig stand. I 1962 blev der afholdt en arkitektkonkurrence om bygningen af et nyt kapel. Konkurrencen blev vundet af den lokale arkitekt Holger Rosenvold. Der skulle dog gå yderligere 14 år før der var fundet den nødvendige finansiering og kapellet kunne tages i brug.
 
Kapellet danner i dag rammen for omkring 60 begravelser og bisættelser årligt.