• <code id="yi91h"></code>
    1. <big id="yi91h"><em id="yi91h"></em></big>

      首頁|必讀|視頻|專訪|運營|制造|監管|大數據|物聯網|量子|元宇宙|博客|特約記者
      手機|互聯網|IT|5G|光通信|人工智能|云計算|芯片報告|智慧城市|移動互聯網|會展
      首頁 >> 業界名博 >> 正文

      TensorFlow,危!拋棄者正是谷歌自己

      2022年6月20日 14:57  量子位  

      收獲接近16.6萬個Star、見證深度學習崛起的TensorFlow,地位已岌岌可危。

      并且這次,沖擊不是來自老對手PyTorch,而是自家新秀JAX。

      最新一波AI圈熱議中,連fast.ai創始人Jeremy Howard都下場表示:

      JAX正逐漸取代TensorFlow這件事,早已廣為人知了,F在它就在發生(至少在谷歌內部是這樣)。

      LeCun更是認為,深度學習框架之間的激烈競爭,已經進入了一個新的階段。

      LeCun表示,當初谷歌的TensorFlow確實比Torch更火。然而Meta的PyTorch出現之后,現在其受歡迎程度已經超過TensorFlow了。

      現在,包括Google Brain、DeepMind以及不少外部項目,都已經開始用上JAX。

      典型例子就是最近爆火的DALL·E Mini,為了充分利用TPU,作者采用了JAX進行編程。有人用過后感嘆:

      這可比PyTorch快多了。

      據《商業內幕》透露,預計在未來幾年內,JAX將覆蓋谷歌所有采用機器學習技術的產品。

      這樣看來,如今大力在內部推廣JAX,更像是谷歌在框架上發起的一場“自救”。

       JAX從何而來?

      關于JAX,谷歌其實是有備而來。

      早在2018年的時候,它就由谷歌大腦的一個三人小團隊給搭出來了。

      研究成果發表在了題為Compiling machine learning programs via high-level tracing的論文中:

      Jax是一個用于高性能數值計算的Python庫,而深度學習只是其中的功能之一。

      自誕生以來,它受歡迎的程度就一直在上升。

      最大的特點就是快。

      一個例子感受一下。

      比如求矩陣的前三次冪的和,用NumPy實現,計算需要約478毫秒。

      用JAX就只需要5.54 毫秒,比NumPy快86倍。

      為什么這么快?原因有很多,包括:

      1、NumPy加速器。NumPy的重要性不用多說,用Python搞科學計算和機器學習,沒人離得開它,但它原生一直不支持GPU等硬件加速。

      JAX的計算函數API則全部基于NumPy,可以讓模型很輕松在GPU和TPU上運行。這一點就拿捏住了很多人。

      2、XLA。XLA(Accelerated Linear Algebra)就是加速線性代數,一個優化編譯器。JAX建立在XLA之上,大幅提高了JAX計算速度的上限。

      3、JIT。研究人員可使用XLA將自己的函數轉換為實時編譯(JIT)版本,相當于通過向計算函數添加一個簡單的函數修飾符,就可以將計算速度提高幾個數量級。

      除此之外,JAX與Autograd完全兼容,支持自動差分,通過grad、hessian、jacfwd和jacrev等函數轉換,支持反向模式和正向模式微分,并且兩者可以任意順序組成。

      當然,JAX也是有一些缺點在身上的。

      比如:

      1、雖然JAX以加速器著稱,但它并沒有針對CPU計算中的每個操作進行充分優化。

      2、JAX還太新,沒有形成像TensorFlow那樣完整的基礎生態。因此它還沒有被谷歌以成型產品的形式推出。

      3、debug需要的時間和成本不確定,“副作用”也不完全明確。

      4、不支持Windows系統,只能在上面的虛擬環境中運行。

      5、沒有數據加載器,得借用TensorFlow或PyTorch的。

      ……

      盡管如此,簡單、靈活又好用的JAX還是率先在DeepMind中流行起來。2020年誕生的一些深度學習庫Haiku和RLax等都是基于它開發。

      這一年,PyTorch原作者之一Adam Paszke,也全職加入了JAX團隊。

      目前,JAX的開源項目在GitHub上已有18.4k標星,比TensorFlow高了不少了。

      值得注意的是,在此期間,有不少聲音都表示它很可能取代TensorFlow。

      一方面是因為JAX的實力,另一方面主要還是跟TensorFlow自身的很多原因有關。

      為什么谷歌要轉投JAX?

      誕生于2015年的TensorFlow,曾經也風靡一時,推出后很快超過了Torch、Theano和Caffe等一眾“弄潮兒”,成為最受歡迎的機器學習框架。

      然而在2017年,煥然一新的PyTorch“卷土重來”。

      這是Meta基于Torch搭建的機器學習庫,由于上手簡單、通俗易懂,很快受到一眾研究者的青睞,甚至有超過TensorFlow的趨勢。

      相比之下,TensorFlow卻在頻繁更新和界面迭代中變得越來越臃腫,逐漸失去了開發者的信任。

      (從Stack Overflow上的提問占比來看,PyTorch逐年上升,TensorFlow卻一直停滯不前)

      在競爭之中,TensorFlow的缺點逐漸暴露出來,API不穩定、實現復雜、學習成本高等問題并沒有隨著更新解決多少,反而結構變得更復雜了。

      相比之下,TensorFlow卻沒有繼續發揮比較能打的“運行效率”等優勢。

      在學術界,PyTorch的使用率正逐漸超過TensorFlow。

      尤其是在各大頂會如ACL、ICLR中,使用PyTorch實現的算法框架近幾年已經占據了超過80%,相比之下TensorFlow的使用率還在不斷下降。

      也正是因此,谷歌坐不住了,試圖用JAX奪回對機器學習框架的“主導權”。

      雖然JAX名義上不是“專為深度學習構建的通用框架”,然而從發布之初起,谷歌的資源就一直在向JAX傾斜。

      一方面,谷歌大腦和DeepMind逐漸將更多的庫構建在JAX上。

      包括谷歌大腦的Trax、Flax、Jax-md,以及DeepMind的神經網絡庫Haiku和強化學習庫RLax等,都是基于JAX構建的。

      據谷歌官方表示:

      JAX生態系統開發中,也會考慮確保其與現有TensorFlow庫(如Sonnet和TRFL)的設計(盡可能)保持一致。

      另一方面,更多的項目也開始基于JAX實現,最近爆火的DALL·E mini項目就是其中一個。

      由于能更好地利用谷歌TPU的優勢,JAX在運行性能上比PyTorch要好得多,更多之前搭建在TensorFlow上的工業界項目也正在轉投JAX。

      甚至有網友調侃JAX如今爆火的原因:可能是TensorFlow的使用者實在無法忍受這個框架了。

      那么,JAX到底有沒有希望替代TensorFlow,成為與PyTorch抗衡的新力量呢?

       更看好哪一個框架?

      總體來看,很多人還是很堅定地站PyTorch。

      他們似乎不喜歡谷歌每年都出一個新框架的速度。

      “JAX雖然很吸引人,但還不夠具備“革命性”的能力促使大家拋棄PyTorch來使用它!

      但看好JAX的也并非少數。

      就有人表示,PyTorch是很完美,但JAX也在縮小差距。

      甚至還有人瘋狂給JAX打call,表示它比PyTorch要厲害10倍,并稱:如果Meta不繼續加把勁兒的話谷歌就會贏了。(手動狗頭)

      不過,總有不怎么care誰輸誰贏的人,他們的目光放得很長遠:

      沒有最好,只有更好。最重要的是更多玩家和好的idea統統都加入進來,讓開源和真正優秀的創新畫上等號。

      編 輯:王洪艷
      聲明:刊載本文目的在于傳播更多行業信息,本站只提供參考并不構成任何投資及應用建議。如網站內容涉及作品版權和其它問題,請在30日內與本網聯系,我們將在第一時間刪除內容。本站聯系電話為86-010-87765777,郵件后綴為#cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
      相關新聞              
       
      人物
      工信部張云明:大部分國家新劃分了中頻段6G頻譜資源
      精彩專題
      專題丨“汛”速出動 共筑信息保障堤壩
      2023MWC上海世界移動通信大會
      中國5G商用四周年
      2023年中國國際信息通信展覽會
      CCTIME推薦
      關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
      CCTIME飛象網 CopyRight © 2007-2024 By CCTIME.COM
      京ICP備08004280號-1  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
      公司名稱: 北京飛象互動文化傳媒有限公司
      未經書面許可,禁止轉載、摘編、復制、鏡像
      偷拍精偷拍精品欧洲亚洲,免费A级毛片高清视频不卡,爱爱高潮动态视频试看,FREEXX俄罗斯美女HD

    2. <code id="yi91h"></code>
      1. <big id="yi91h"><em id="yi91h"></em></big>