作為現代機械進修基石的深度神經收集,固然仿照的是生物神經收集,但其實這兩者之間有著極年夜的區別。拋開僅有的一些相似處,有些主要的機械進修機制沒有任何天然界的版本,而這兩者進修過程之間也有著年夜量的分歧。
這些區別很有可能詮釋了為什么機械進修系統在某些范疇中的表示遠遜于天然系統。就拿蟲豸來說,蟲豸僅需接觸幾回新的氣息就能學會若何識別這些新氣息。而機械則需要海量的數據集才能學會。是以,計較機科學家但愿經由過程加深對天然進修體例的領會來削減這兩者之間的距離。
為了進一步找出天然與機械進修之間的差距,華盛頓年夜學研究科學家Charles Delahunt與他的團隊締造出了一條目仿照煙草天蛾(學名:Manduca sexta)嗅覺進修系統的布局與行為的人工神經收集。他們暗示,他們的系統可以對天然神經收集的進修體例供給一些主要的看法,為機械進修帶來沖破。

與其他動物比擬,飛蛾的嗅覺系統比力簡單,并已被神經科學家們很好地繪制出來。它是由5個怪異的收集構成,由每個收集標的目的下一個收集一層一層的傳輸信息。
飛蛾嗅覺系統的首層收集,是一個由3萬多個用于檢測氣息的化學受體所構成的系統。它會把一套嘈雜的數據傳輸到下一層:天線葉(antenna lobe)。天線葉含有年夜約60個叫Glomeruli的單位,每一個單位城市專注于一種氣息。
天線葉會把闡發過一邊的氣息數據傳輸給含有4000個kenyon細胞的蘑菇體(Mushroom Body),把它編當作記憶。
作為記憶,這些關于氣息的信息最終會被一層僅有兩位數的外在神經元讀取。它們將把來自蘑菇體的旌旗燈號轉化為行為,好比“標的目的上飛”。
這個系統在多個方面與機械進修收集完全分歧。就拿天線葉來說,它會把信息編碼到低維參數空間中,把信息傳輸給蘑菇體;但蘑菇體卻會把信息編碼到高維參數空間中。比擬之下,人工神經收集每層的維度都十分相似。
此外,一旦飛蛾當作功的識別一種氣息,這將出發一個獎勵機制,導致神經元標的目的天線葉與蘑菇體噴射一種叫“章魚胺”(octopamine)的化學神經遞質。
這種獎勵機制在進修過程中起到了至關主要的感化。在飛蛾腦中,章魚胺可以幫忙增強發生當作功的神經線路。這也是赫布進修(Hebbian learning)中最主要的理論之一,即“一路激發的神經元也會連在一路”(Cells that fire together, wire together)。確實,神經科學家早就知道去失落章魚胺的飛蛾是無法進修的。我們只是不知道章魚胺的具體工作體例。
而機械的進修體例則十分分歧。它依靠的是一種叫“反標的目的傳布”(backpropagation)的過程,經由過程調整每個神經元之間的毗連來提高成果。可是在這個過程中,信息是在神經收集中進行反標的目的流動的,而它在天然中也沒有任何相似的存在。
為了更好地領會飛蛾進修的體例,Delahunt的團隊締造出了一條目仿照天然神經收集的工作體例的人工神經收集。“我們締造出來一條目端到端的計較模子來仿照煙草天蛾的嗅覺系統,包羅天線葉與蘑菇體在章魚胺刺激之下的互動行為”,他們說道。
這條目模子的設計理念就是在每一層百分百重現天然系統的一切行為。好比由氣息受體所發生的嘈雜旌旗燈號,以及數據從天線葉傳輸到蘑菇體時所發生的維度轉變。它甚至還包含了一個仿照章魚胺感化的機制。
最終的成果十分有意思,這條目模子顯示,氣息受體所發生的嘈雜旌旗燈號會受到天線葉的前置放年夜。可是,這些旌旗燈號在傳輸到蘑菇體時所履歷的維度轉變可以有用的解除一切噪聲。是以,這些清潔的旌旗燈號可以讓該系統輸出“標的目的上飛”這種明白的指令。
而章魚胺所起到的感化也更明白了。這條目仿照系統顯示,在沒有章魚胺的環境下其實也可以實現進修,但因為它的速度極慢,半斤八兩于不存在。這意味著章魚胺是一種強效進修加快劑。
可是章魚胺具體是若何實現加快功能的呢?Delahunt與團隊認為“這可能是一種讓飛蛾繞開新增突觸在赫布發展時固有的有機約束的體例,不然這種約束可能將飛蛾進修的速度限制在一個難以接管的速度。”
此外,章魚胺還有別的一個感化。赫布進修只能增強現有的神經毗連,是以無法詮釋新的神經線路是若何發生的。Delahunt暗示章魚胺還可以打開新的傳輸通道來形當作毗連:“這會擴展系統進修時可以或許摸索的解空間”。
總體來說,這條目仿照天然神經收集的人工神經收集系統完美的實現了它的設計方針,以一個天然的體例學會了別離氣息。“我們的模子可以進修新的氣息,經由過程仿照出來的整合-激發神經元也與飛蛾體內激發率的統計特征一致”,Delahunt說道。
普遍來說,此項研究當作果可能給人工神經收集范疇帶來極年夜的影響。“從一個機械進修角度來看,該模子供給了一個由天然開導的機制,并將十分利于扶植需要用少少樣本實現敏捷進修的神經收集”,該團隊總結道。
所以,將來的機械進修收集很可能將會包含章魚胺等神經遞質的仿品。
當然,神經遞質并不只在進修時有著主要的地位。神經科學家們十分領會它們在情感與情感調節等機制中的地位。而這,則可能當作為機械進修研究者的下一個研究偏向了。
0 篇文章
如果覺得我的文章對您有用,請隨意打賞。你的支持將鼓勵我繼續創作!