BLIP是一種多模態Transformer模型，主要用於視覺語言預訓練（Vision-Language Pre-training, VLP）。它旨在解決兩個常見的VLP框架問題：
任務兼容性：許多現有的預訓練模型在視覺理解任務或生成任務方面表現出色，但很少有模型能夠同時兼顧這兩種任務。BLIP被設計為可以在視覺理解任務和生成任務上靈活遷移。
數據噪聲：為了提高性能，許多現有的預訓練模型使用包含噪聲的圖像-文本對來擴展數據集。這些帶噪聲的監督信號並不是最優的。BLIP提出了一種高效利用噪聲網路數據的方法，即通過使用嘈雜數據訓練BLIP，然後利用BLIP的生成功能生成字幕，再通過預訓練的Filter過濾掉不準確的數據，最後用乾淨的數據再次訓練BLIP。
BLIP的架構包含三個encoder和一個decoder，以及一個與數據相關的CapFilt模組。它通過多模態混合encoder-decoder（MED）來實現理解和生成的統一，其中encoder負責多模態理解，而decoder負責多模態生成。BLIP還包含圖像編碼器和文本編碼器，這些編碼器可以執行單模態理解。
BLIP模型的泛化能力強，支持zero-shot推理，在視頻語言任務中也表現出良好的性能。BLIP是繼ALBEF之後的一個模型，兩者都屬於多模態領域，且多模態任務通常比單模態任務效果更好。BLIP通過引入MED和CapFilt兩個模組來解決多模態任務中的局限性問題。