什么是詞匯分析(Lexical Analysis)？

詞法分析是將一個字符串（或者更簡單地說，文本）轉換成有意義的組（稱為標記）的過程。這種方法在各種應用中都有應用，從解釋計算機語言到分析書籍。詞法分析并不是句法分析的同義詞，而是，它是整個解析過程的第一步，它為以后的使用...

詞法分析是將一個字符串（或者更簡單地說，文本）轉換成有意義的組（稱為標記）的過程。這種方法在各種應用中都有應用，從解釋計算機語言到分析書籍。詞法分析并不是句法分析的同義詞，而是，它是整個解析過程的第一步，它為以后的使用創建了原始材料。詞法分析是將字符串（或者更簡單地說，文本）轉換為有意義的組（稱為標記）的過程。標記的構建塊（也稱為詞素）可以通過多種方式生成，具體取決于詞法分析所需的語法。一個常見的例子是按單詞拆分句子；這通常是通過在空格周圍拆分句子來完成的。每一個不帶空格的連續字符串都是一個詞素。文本字符串可以按一種或多種類型的字符進行拆分，創建具有不同復雜度的詞素的多個版本。標記是在對每個詞素進行評估并與其對應的值配對后生成的；根據定義，標記指的是這種配對，而不僅僅是詞素。詞匯分析，有點違反直覺，從上下文中剝離一個文本字符串。其目的只是生成用于進一步研究的構建塊，而不是確定這些塊是有效的還是無效的。在計算機語言解釋的情況下，通過語法分析進行驗證，文本驗證可以根據上下文或內容進行，如果輸入字符串被完全劃分為適當的詞素，并且每個詞素都有一個適當的值，則認為分析是成功的。如果沒有上下文或執行驗證的能力，詞法分析不能可靠地用于查找輸入錯誤一個詞法語法可能會給特定的詞素指定錯誤值，這種分析也可以檢測非法或格式錯誤的標記。雖然找到非法或格式錯誤的標記表示輸入無效，但它與其他標記是否有效無關，因此，嚴格說來，這并不是一種驗證類型。雖然詞法分析是許多算法的一個組成部分，但它必須經常與其他方法結合使用才能產生有意義的結果。例如，將文本字符串拆分為單詞來確定頻率，就利用了詞素創建，但是詞素創建本身并不能監控特定詞素在輸入中出現的次數，如果詞素本身是值得注意的，詞法分析本身可能是有用的，但是由于數據量大，大量的輸入可能會使原始詞素的分析變得困難

發表于 2020-08-06 12:02
閱讀 ( 1492 )
分類：電腦網絡

什么是詞匯分析(Lexical Analysis)？

你可能感興趣的文章

相關問題

0 條評論

作家榜 ?

推薦文章