2016年3月7日，Google首席科學家、MapReduce和BigTable等系統的創建者Jeff Dean應邀在韓國大學就大規模深入學習這一主題發表演講，部分內容來自高可伸縮性文本和作者的YouTube收聽。就在Alpha Go和李世石賽跑之前，觀眾問他關于他的預測。他只是說，一臺已經訓練了五個月的機器和一個頂尖的玩家之間的差距是很難說的；有人問他喜歡的編程語言（C++愛恨交織在一起，像谷歌的簡單性，Sawzall是真愛），以及谷歌的第一天是如何度過的。早餐好，到處逛逛，聊天，找到各個領域的專家來克服困難。這篇文章從WeChat在硅谷的公開演講董先生開始。

     Google系統架構組的學者Jeff Dean在用大規模深入學習構建智能計算系統的講座上發表了演講，以及Google整合全球信息的使命，以便每個人都能夠訪問并從中受益。收集、清理、存儲、索引、報告和檢索數據，當Google完成這項任務時，它承擔了下一個挑戰。

     當你看到這張照片時，你馬上就知道孩子和泰迪熊在睡覺。當我看到下一個街景時，我立刻意識到紀念品店有打折。事實上，直到最近，計算機才能從照片中提取信息。

     如果你想從圖像中解釋物理世界，計算機需要選擇感興趣的點，閱讀文本，并且真正理解。

     像下面要銷售的文本汽車零件一樣，傳統的Google通過關鍵詞匹配給出結果，但更好的匹配是第二個。這是一個深入了解需求的過程，不能停留在字面上，要做好搜索和語言理解的產品。

     谷歌的深度神經網絡歷史

     與其他公司不同，Google在2011年啟動了Brain項目，當時它希望使用神經網絡來改進技術，但是它不像大學里的象牙塔，而是結合了Android、Gmail和圖片來改進產品以解決實際問題。其他公司將研究與員工工作結合起來。

     神經網絡的研究由來已久。它們產生于20世紀60年代，流行于20世紀80年代和90年代初，但是它們再也沒有流行起來。谷歌和強大的基礎設施，谷歌創造了一個極好的溫床，人工智能與大量數據集。

     深度學習從少量的產品組開始，一段時間后，響應足夠好以解決之前不能完成的問題，更多的團隊開始采用。使用深度學習的產品包括：Android、Apps、DrugDisco.、Gmail、圖片理解、地圖、自然語言、圖片、機器人、語音翻譯等。

     深層學習可以應用到很多領域，因為通用的模塊有：語音、文本、搜索詞、圖片、視頻、標簽、實體、短語、音頻特征。去吧。

     這個模型之所以很好，是因為它注入了大量的原始數據。您不需要教工程師很多特征點，但是該模型的強大之處在于通過查看一些示例自動識別數據中的有用信息。

     神經網絡是從數據中提取的復雜函數。從一個空間輸出到另一個空間。這里的函數不是正方形，而是一個真正復雜的函數。當你給出一些原始像素，比如貓，輸出就是對象的類別。

     深度學習是指神經網絡的層數，系統的優良性質是一組簡單的數學函數，可以訓練，深層神經網絡適用于多種機器學習方式。

     例如，輸入貓的圖片，輸出是人工標記的貓的圖片，這是監督學習。你給系統許多監督樣本，讓它學習近似函數，正如從監督樣本中觀察到的。

     也有無監督學習。給定一張圖片，你不知道里面是什么，系統可以學習尋找出現在許多圖片中的圖案。所以即使你不知道圖片，它也可以識別出所有圖片中都有一只貓。

     深層網絡模型類似于大腦行為的原理，但它沒有具體地模擬神經元如何工作。它是一個簡單而抽象的神經元版本。

     神經元有一組輸入。真實神經元會有不同強度的輸入。在人工智能網絡中，我們試圖學習這些邊緣的權重，以加強不同輸入之間的連接。真實神經元通過輸入和inte的組合來確定是否產生脈沖。大學。

     人工神經元不產生脈沖，但它們產生一個數值，神經元的功能是通過非線性函數來計算權重之和。

     典型的非線性函數是整數線性元素（max（0，x））。20世紀90年代，許多非線性函數是光滑的sigmoid()函數或tanh()函數，但對于神經元，其值更接近于0，這對優化系統更有利。例如，如果神經元有3個輸入X1、X1、X3，則權重分別為-0.21、0.3、0.7。

     為了決定圖片是貓還是狗，這張圖片需要經過很多層。這些神經元根據輸入產生下一步。

     最低級的神經元觀察像素中的小像素。較高級的神經元將看到較低級的神經元的輸出，并決定是否產生。

     這個模型也是錯誤的，例如，這是一只貓，但事實上它是一只狗。作出錯誤決策的信號然后被返回到系統進行調整，以便剩余的模型在下一次看到圖片時更有可能輸出狗。這是神經網絡的目標。通過小步調整邊緣的權重，可以更方便地得到正確答案。可以聚集所有樣本，降低錯誤率。

     反向傳播：積分的鏈式法則決定了高級神經網絡的使用，如果選擇是貓而不是狗，您必須找到方法來調整高級的權重，使其更適合于狗。

     根據箭頭的方向和重量，它更像是一只狗。不要因為表面復雜而采取太大的步驟，微調一個小步驟使其更有可能下次給出狗的結果。通過多次迭代和查看示例，結果更有可能為b這個鏈式規則用來理解底層參數的變化是如何影響輸出的。簡言之，網絡變化循環被反饋到輸入端，使得整個模型更適合選擇狗。

     重量微調

     真正的神經網絡通過1億個參數的水平來調整輸出網絡。Google現在有能力快速建立和訓練這些海量數據模型以解決實際問題并部署生產模型（手機、傳感器、云，等等）。等等）在各種各樣的平臺上。

     也就是說，神經網絡可以應用于許多不同的問題。

     用戶行為：許多應用程序產生數據。例如，搜索引擎查詢，用戶在電子郵件中標記垃圾。這些可以學習和構建智能系統。

     如果更多的數據被吸收，模型越大，結果就越好。

     如果輸入更多的數據，但不要使模型變大，那么模型的能力會受到某些數據集中明顯特征的限制。通過增加模型的大小，不僅要記住顯而易見的特征，還要記住一些可能看起來很小的微妙特征。

     隨著模型越來越大，數據越來越多，對計算的需求也越來越大。谷歌在如何增加計算量和訓練更大的模型上花費了大量的精力。

     第一組部署深層神經網絡。他們實現的新模型是基于神經網絡而不是隱馬爾可夫模型。問題是從150毫秒的語音中預測10毫秒中的語音。例如，BA或KA的語音。你得到一個預測序列。然后使用語言模型來理解用戶所說的內容。

     最初的版本降低了30%的識別錯誤率，后來我們研究了一些復雜的模型來增強網絡，進一步降低錯誤率。

     ImageNet是6年前發布的，有100萬張圖片，是計算機視覺領域最大的圖片。圖片有1000個不同的類別，每個類別有1000張圖片。有數千種不同的豹子、摩托車等等。問題不是所有的標簽都是對的。

     在使用神經網絡之前，最好的錯誤記錄是26%，谷歌的錯誤率在2014年下降到6.66%，贏得冠軍，然后在2015年下降到3.46%。注意到Andrej的錯誤率為5.1%（他仍然花了24小時訓練）。

     3）圖像類別識別

     計算機在花卉識別方面是非常強大的，這是識別細微差別的一個很好的模型。

     一般效果，如菜肴識別。

     當計算機出錯時，看一下錯誤的敏感性，比如左邊的鼻涕是蛇，右邊的是鬼。

     Google圖片團隊了解了圖像中像素的威力，開發了一個功能，允許您搜索沒有標簽的圖像。例如，您可以查找雕像、繪圖、水，并且不需要預先注釋。

     如何識別街道場景中的文本。首先，我們需要找到文本部分。該模型能有效地預測像素中的熱點區域，這些像素包含文本，訓練數據為包含文字分割的多邊形。

     因為訓練數據包括不同的字符集，所以在多語言環境中不成問題。還要考慮大小字體、距離和不同的顏色。訓練模型相對簡單，即卷積神經網絡試圖預測每個像素是否包含文本。

     RankBrain成立于2015年，在搜索排名中排名第三（前100名），其困難在于搜索排名需要理解模型，以及為什么需要做出決定。為什么當系統出錯時會發生這種情況

     調試工具已經準備好，并且需要足夠的理解來嵌入模型以避免主觀性。一般來說，不希望手動調整參數。您需要嘗試理解模型中的預測，理解訓練數據是否相關，是否與公共關系無關問題，以及您是否需要將訓練數據應用于其他事物。通過搜索查詢的分布，您可以每天得到更改，并且事件隨時發生。如果希望查看該分布是否穩定，比如語音識別，那么一般人不會更改e音色。當查詢和文檔的內容頻繁變化時，您必須確保模型是新的。我們需要構建通用工具來理解神經網絡內部正在發生什么并解釋是什么導致了這種預測。

     許多問題可以映射到一個序列到另一個序列。例如，語言翻譯，從英語到法語，就是把英語序列詞翻譯成法語序列詞。

     神經網絡在學習復雜函數中特別有用。該模型學習從英語到法語的句子，句子以單詞為單位，以結尾為信號，訓練模型在滿足結尾符號時開始生成另一種語言的對應句子，模型功能是使用語言中的語句對作為訓練數據。

     在每個步驟中都顯示了詞典中單詞生成的概率分布。推理是通過一些搜索完成的，如果最大化每個單詞的概率，則不會尋找最可能的句子。搜索直到找到最可能的句子。

     該系統在公共翻譯系統中表現良好。大多數其他翻譯系統要求手動編碼或機器學習模型僅以很小的一部分使用，而不是像這樣的整個端到端學習系統。

     這些字段是可以被分組為序列類的方法。

     智能恢復是順序類的另一個例子。如何快速回復電子郵件，厭倦打字。

     Gmail群組已經開發了一個預測郵件響應的系統。第一步是訓練小模型來預測如果消息是某個類如何做出短響應。如果是一個更大、更計算的模型，則嘗試使用messa來預測序列的響應語言。例如，對于一個節日邀請，三個最有可能的答案是依靠我們。我們去。對不起，我們不能玩。

     將先前開發的圖像模型與序列類模型相結合。圖像模型作為輸入。這不是讀英語句子，而是看圖片的像素。

     接下來是生成字幕的訓練。訓練集有5個不同的人寫的字幕。總共有100萬張圖片，70萬句子。結果如下

     這兩個模型是很好的譯文：1）一個小孩緊緊地抓著毛絨玩具。2）一個嬰兒在泰迪熊旁邊睡著了。

     以上是一些有趣和錯誤的陳述。你為什么錯了

     翻譯小組編寫了一個應用程序，使用計算機視覺識別鏡頭中的漢字，將它們翻譯成文本，最后用圖片本身覆蓋翻譯后的文本。

     直接在電話上運行一些重要的方式。智能化將被轉移到設備端，這樣遠程云的大腦就不會依賴于它。

     Google非常關注研究效率。它需要快速訓練模型，了解好壞，然后考慮下一步。模型應該花費幾分鐘或幾個小時而不是幾天或幾周。這樣每個人都可以更有效地進行研究。

     機器學習的發展會越來越好。杰夫說機器學習社區發展很快。人們發表了一篇論文，一周內許多團隊會跟進、下載、閱讀、理解和實現他們自己的擴展。這與以前的計算完全不同。日志投稿，等六個月才知道是否收到，然后等三個月才發表期末報告。把時間從一年縮短到一周真可惜。

     神經網絡具有許多固有的并行性，并且所有不同的神經元與其他神經元保持獨立，尤其是局部地，僅接受一小部分下層神經元作為輸入。

     數據并行化

     優化的模型參數集不應該位于一臺機器上或中央服務器上，而是應該具有多個模型副本，以便協作區域優化參數。

     在訓練過程中讀取數據的隨機部分。每個副本獲取模型中的當前參數集，在當前梯度下讀取少量數據，找到所需的參數調整，并將其發送到中心參數服務器。該參數服務器調整參數。這個過程是重復的，而且這種重復也會發生在許多拷貝中。一些拷貝在500臺不同的機器上使用500個拷貝來快速優化參數和處理大量的數據。

     一種方式是異步的，每種方式都有自己的循環，獲取參數，計算梯度，發送它們，沒有任何控制和同步，但是壞處是當梯度返回到參數時，可以在計算之后刪除它。另一個是同步，控制器控制所有副本。

     在過去的幾年中，我們建立了兩代用于訓練和部署神經網絡的計算機系統，并將它們用于解決傳統上計算機難以解決的許多問題。

     第一代系統DistBeliet在可伸縮性方面表現良好，但是用于研究的靈活性比預期的要低。

     這也是第二代系統發展的動力，它采用了TysFROW來表示高級機器學習計算，它是C++語言的核心，冗余度較低。R語言不是問題。

     計算可以通過數據流圖來理解。

     張量(Zhang Liang)表示N維數組。一維是向量，二維是矩陣；圖像可以表示高維數據流，例如，圖像可以用三維張量(行、列、顏色)表示。

     張量從圖像的一端流向另一端，稱為張量流。邊緣表示張亮（數據），節點表示算術運算。

     這是一個使用狀態計算的示意圖。

     這是分布式計算的示意圖。

     它可以在各種平臺上自動運行模型：一個由電話上的數百個GPU卡組成的分布式系統，在一臺機器（CPU或GPU）上。

     總結

     如果你不想通過深度學習網絡解決你的數據問題，你必須快速考慮它。

     當Jeff Dean第一次采訪Google時，他被問到P=NP能推斷出什么結論，Jeff回答：P=0或N=1。在采訪者笑完之前，Jeff檢查了Google的公鑰，并將私鑰寫在黑板上。