白象居得名的原因主要有兩種說法：
一種說法是與地理和象徵意義相關。白象街原本沒有象，但為了與南岸區玄壇廟的石獅子相對，形成「青獅白象鎖大江」的景觀，因此在這裡放置了一尊石象雕塑，從而得名白象街。白象居因其緊鄰白象街而得名。
另一種說法是基於當地的歷史或地理特徵。這裡曾是白象洗沐的搓澡池的風水寶地，因此取了一個吉祥的寓意，得名白象居。
此外，白象居的設計起始於1983年，於1992年建成，是一座高達24層的樓房，其特色之一是沒有電梯，因為它是依山而建，每層的出入口都直接通往馬路。它還緊鄰長江，提供獨特的視野和地理位置優勢。