羽絨被的缺點主要包括：
透氣性較差。羽絨被的透氣性不如棉被和蠶絲被，這可能導致使用者在睡眠時感到悶熱。
容易吸附灰塵。羽絨被的面料通常需要具備防鑽絨功能，這可能導致其容易吸附灰塵和雜質。
可能引起過敏反應。對於羽毛或動物絨毛過敏的人來說，羽絨被可能不適合。
清潔和保養較爲複雜。羽絨被一般不建議水洗，需要專業乾洗或特殊的手洗方法，且晾曬時需要妥善保存，否則容易導致羽絨失去蓬鬆度。
價格較高。相較於棉被或其他材質的被子，羽絨被因其製作成本和優越性能，通常售價較高。
易受損。羽絨被表面的織物需具備防鑽絨功能，但仍然較易被尖銳物品刺穿，一旦出現破損，內部的羽絨可能會溢出。
不夠貼身。由於羽絨被較輕盈，可能不如其他被子貼合身體，尤其是肩膀處不貼身可能會導致漏風。
可能存在“鑽絨”現象。工藝不過關的羽絨被可能會有跑絨現象，對皮膚敏感或者有呼吸系統疾病的人羣可能不太友好。
可能產生噪音。塗層面料的羽絨被容易產生噪音，可能會影響睡眠。