ELMo（Embeddings from Language Models）是一個預訓練的語言模型，旨在生成動態詞向量。它通過使用雙向LSTM（Bi-LSTM）結構來捕獲文本中上下文的信息，從而為每個單詞生成基於上下文的詞向量表示。這種表示方法能夠更好地捕捉詞義的多義性，即同一個單詞在不同上下文中可能有不同的含義。ELMo模型通過在多個NLP任務上的套用，展示了其在提升模型性能方面的有效性。
ELMo模型的結構包括多個LSTM層，其中底層的LSTM用於捕獲句法信息，而頂層的LSTM用於捕獲語義信息。模型在訓練過程中，不僅考慮了正向的上下文信息，也考慮了反向的上下文信息。這樣，對於每個單詞，ELMo模型能夠生成一個基於整個句子上下文的向量表示。
在下游任務中，ELMo向量可以通過線性組合不同層的向量表示來使用，以適應不同的任務需求。這種組合方式允許模型根據具體任務調整不同層信息的權重，從而最佳化性能。
ELMo模型的提出是為了解決傳統詞向量（如word2vec和GloVe）的局限性，這些詞向量是上下文無關的，無法捕捉同一個單詞在不同上下文中的不同含義。通過預訓練一個語言模型，ELMo能夠為每個單詞生成一個動態的、上下文相關的詞向量表示。
總的來說，ELMo模型通過其雙向LSTM結構和多層次向量表示的能力，為自然語言處理任務提供了更豐富、更準確的詞向量表示，從而提升了模型的性能。