Namnet kommer från "rackaren" – bödelns medhjälpare vars uppgift bland annat var att slakta, flå och ta hand om döda hästar. Eftersom detta historiskt var ett yrke med mycket låg status, förlades verksamheten ofta till stadens utkanter, vilket gav upphov till namnet. 

Innan de nuvarande radhusen och modernare bostäderna byggdes, bestod Rackarbacken av äldre trähus och arbetarbostäder. Det var känt som ett enkelt arbetarkvarter med färgstarka människoöden. Under mitten av 1960-talet eldhärjades området då ett större hyreshus i trä brann ner. 

Idag är Brf.Artilleristen 32 ett välvårdat bygge, trots sin ålder, uppdelat på två hus med 18 lägenheter och en fin trädgård.