指南針的主要組成部分是一根裝在軸上的磁針，磁針在天然地磁場的作用下可以自由轉動並保持在磁子午線的切線方向上。當指南針靜止時，它的北極總是指向地球的北端，南極指向地球的南端。指南針上的指針是一箇磁針，並且可以自由轉動，而磁極是同極相斥，異極相吸，指南針受到了地球磁場的影響，所以總是一頭指向南方，一頭指向北方。
需要注意的是，指南針並不指向地球的正南和正北，而是略微偏離一點。這是因爲地理極和地磁極之間有磁偏角。此外，我們平常購買的所謂的指南針大部分都是指北針。如果實在無法判斷，可在已知方向的情況下將指南針平放並牢記指南針方向即可判斷。