0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

直播預約 |數(shù)據(jù)智能系列講座第4期:預訓練的基礎模型下的持續(xù)學習

廈門市開源芯片產業(yè)促進會 ? 2024-10-18 08:09 ? 次閱讀

鷺島論壇

數(shù)據(jù)智能系列講座第4期

「預訓練的基礎模型下的持續(xù)學習」

10月30日(周三) 20:00

精彩開播

期待與您云相聚,共襄學術盛宴!

4687624e-8ce5-11ef-b5cd-92fbcf53809c.jpg

| 直播信息

報告題目

預訓練的基礎模型下的持續(xù)學習

報告簡介

雖然近年來神經網絡,特別是預訓練的基礎模型研究得到了廣泛的應用,但其仍然主要依賴于在大量樣本上的批量式訓練。

本報告將探討實現(xiàn)模型的增量式訓練,針對深度神經網絡在增量式學習新任務時所面臨的"災難性遺忘"問題,介紹如何在預訓練的基礎模型上進行連續(xù)學習,包括基于重放的遺忘抑制機制、基于模型高效微調的連續(xù)學習框架,以及連續(xù)學習在計算機視覺上任務上的應用和部署等。

報告嘉賓

洪曉鵬

哈爾濱工業(yè)大學教授

特邀主持

黃禮泊

中國科學院計算技術研究所

特別研究助理

講座時間

2024年10月30日(周三)2010

講座環(huán)節(jié)及流程

?講座環(huán)節(jié):

① 5 分鐘主持人進行主題與嘉賓介紹

②55分鐘報告嘉賓講座環(huán)節(jié)

③ 10分鐘互動問答環(huán)節(jié)

?講座流程:

① 19:45 開芯會視頻號上線,歡迎觀眾朋友提前進入直播間候場

② 20:00 主持人開場

③ 20:05 主講嘉賓開始講座,持續(xù)55min

注:【在講座過程中歡迎觀眾朋友通過各直播平臺進行提問工作人員將收集和整理問題

③ 21:00主持人根據(jù)工作團隊整理的問題與嘉賓進行問答互動,持續(xù)10min

講座形式

視頻號、B站、電子發(fā)燒友、蔻享學術等多平臺同步直播

點擊預約精彩不容錯過!

474bf2d0-8ce5-11ef-b5cd-92fbcf53809c.jpg

直播海報

報告嘉賓

47c56ef8-8ce5-11ef-b5cd-92fbcf53809c.png

洪曉鵬

哈爾濱工業(yè)大學教授, IEEE資深會員。歷任芬蘭Oulu大學博士后、科研型副教授(Docent)和西安交通大學特聘研究員。斯坦福大學全球前2%頂尖科學家年度榜單入選者。已在頂級國際和國內刊物和國際會議上發(fā)表文章80余篇,相關工作見諸美國《麻省理工技術評論》等技術媒體專文報道。2次獲得領域內國際權威期刊和會議的優(yōu)秀論文獎,5次帶隊獲得國際評測冠軍。作為負責人主持了國家重點研發(fā)計劃課題、國家自然科學基金、芬蘭信息學會博士后基金等10余個項目。多次受邀擔任ACM MM 、 AAAI/IJCAI的領域主席或資深程序委員以及CVIU和IVC等國際主流期刊的編委。中國圖像與圖形學學會情感計算與理解專業(yè)委員會副秘書長,黑龍江省計算機學會學術工作委員會副主任、獎勵工作委員會秘書長。目前的研究領域包括:多模態(tài)目標感知、深度連續(xù)學習、智能決策與任務分配等。

主持嘉賓

481bacb4-8ce5-11ef-b5cd-92fbcf53809c.png

黃禮泊

博士,中國科學院計算技術研究所特別研究助理。主要研究領域為機器學習理論和深度學習應用,尤其是無監(jiān)督學習、持續(xù)學習、最優(yōu)化理論等方面的研究。在包括IEEE Transactions系列、AAAI、ICLR、CVPR、NeurIPS等國內外期刊和會議上發(fā)表論文20余篇。作為負責人承擔國家領域預研課題、國家公派留學基金、北京市自然科學基金青年基金等多個項目。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4748

    瀏覽量

    100430
  • 數(shù)據(jù)

    關注

    8

    文章

    6835

    瀏覽量

    88754
  • 模型
    +關注

    關注

    1

    文章

    3119

    瀏覽量

    48663
收藏 人收藏

    評論

    相關推薦

    數(shù)據(jù)智能系列講座3—交流式學習:神經網絡的精細與或邏輯與人類認知的對齊

    鷺島論壇數(shù)據(jù)智能系列講座3「交流式學習:神經網絡的精細與或邏輯與人類認知的對齊」(25日)2
    的頭像 發(fā)表于 09-25 08:06 ?156次閱讀
    <b class='flag-5'>數(shù)據(jù)</b><b class='flag-5'>智能</b><b class='flag-5'>系列講座</b><b class='flag-5'>第</b>3<b class='flag-5'>期</b>—交流式<b class='flag-5'>學習</b>:神經網絡的精細與或邏輯與人類認知的對齊

    開源芯片系列講座22:異步電路機制為RISC-V處理器賦能

    鷺島論壇開源芯片系列講座22「異步電路機制為RISC-V處理器賦能」明晚(31號)20:00精彩開播期待與您云相聚,共襄學術盛宴!|直播信息報告題目異步電路機制為RISC-V處理器
    的頭像 發(fā)表于 07-31 08:37 ?328次閱讀
    開源芯片<b class='flag-5'>系列講座</b><b class='flag-5'>第</b>22<b class='flag-5'>期</b>:異步電路機制為RISC-V處理器賦能

    直播預告 |開源芯片系列講座22:異步電路機制為RISC-V處理器賦能

    鷺島論壇開源芯片系列講座22「異步電路機制為RISC-V處理器賦能」7月31號(周三)20:00精彩開播期待與您云相聚,共襄學術盛宴!|直播信息報告題目異步電路機制為RISC-V處
    的頭像 發(fā)表于 07-18 08:37 ?261次閱讀
    <b class='flag-5'>直播</b>預告 |開源芯片<b class='flag-5'>系列講座</b><b class='flag-5'>第</b>22<b class='flag-5'>期</b>:異步電路機制為RISC-V處理器賦能

    訓練和遷移學習的區(qū)別和聯(lián)系

    訓練和遷移學習是深度學習和機器學習領域中的兩個重要概念,它們在提高模型性能、減少
    的頭像 發(fā)表于 07-11 10:12 ?744次閱讀

    大語言模型訓練

    能力,逐漸成為NLP領域的研究熱點。大語言模型訓練是這一技術發(fā)展的關鍵步驟,它通過在海量無標簽數(shù)據(jù)上進行訓練,使
    的頭像 發(fā)表于 07-11 10:11 ?367次閱讀

    訓練模型的基本原理和應用

    訓練模型(Pre-trained Model)是深度學習和機器學習領域中的一個重要概念,尤其是在自然語言處理(NLP)和計算機視覺(CV)
    的頭像 發(fā)表于 07-03 18:20 ?2147次閱讀

    開源芯片系列講座21:RISC-V IP創(chuàng)新為本土帶來獨特價值

    鷺島論壇開源芯片系列講座21「RISC-VIP創(chuàng)新為本土帶來獨特價值」明晚(7月3號)20:00精彩開播期待與您云相聚,共襄學術盛宴!|直播信息報告簡介當前,IP標準化與SoC集成
    的頭像 發(fā)表于 07-03 08:37 ?242次閱讀
    開源芯片<b class='flag-5'>系列講座</b><b class='flag-5'>第</b>21<b class='flag-5'>期</b>:RISC-V IP創(chuàng)新為本土帶來獨特價值

    深度學習模型訓練過程詳解

    深度學習模型訓練是一個復雜且關鍵的過程,它涉及大量的數(shù)據(jù)、計算資源和精心設計的算法。訓練一個深度學習
    的頭像 發(fā)表于 07-01 16:13 ?1031次閱讀

    直播預告 |開源芯片系列講座21:RISC-V IP創(chuàng)新為本土帶來獨特價值

    鷺島論壇開源芯片系列講座21「RISC-VIP創(chuàng)新為本土帶來獨特價值」7月3日(周三)20:00精彩開播期待與您云相聚,共襄學術盛宴!|直播信息報告簡介當前,IP標準化與SoC集成
    的頭像 發(fā)表于 06-26 08:36 ?233次閱讀
    <b class='flag-5'>直播</b>預告 |開源芯片<b class='flag-5'>系列講座</b><b class='flag-5'>第</b>21<b class='flag-5'>期</b>:RISC-V IP創(chuàng)新為本土帶來獨特價值

    【大語言模型:原理與工程實踐】大語言模型訓練

    大語言模型的核心特點在于其龐大的參數(shù)量,這賦予了模型強大的學習容量,使其無需依賴微調即可適應各種下游任務,而更傾向于培養(yǎng)通用的處理能力。然而,隨著學習容量的增加,對
    發(fā)表于 05-07 17:10

    【大語言模型:原理與工程實踐】大語言模型的基礎技術

    模型架構奠定基礎。然后,引介一些經典的訓練模型,如BERT、GPT等。最后,解讀ChatGPT和LLaMA系列
    發(fā)表于 05-05 12:17

    【大語言模型:原理與工程實踐】核心技術綜述

    的復雜模式和長距離依賴關系。 訓練策略: 訓練是LLMs訓練過程的第一階段,模型在大量的
    發(fā)表于 05-05 10:56

    【大語言模型:原理與工程實踐】揭開大語言模型的面紗

    大語言模型(LLM)是人工智能領域的尖端技術,憑借龐大的參數(shù)量和卓越的語言理解能力贏得了廣泛關注。它基于深度學習,利用神經網絡框架來理解和生成自然語言文本。這些模型通過
    發(fā)表于 05-04 23:55

    如何基于深度學習模型訓練實現(xiàn)圓檢測與圓心位置預測

    Hello大家好,今天給大家分享一如何基于深度學習模型訓練實現(xiàn)圓檢測與圓心位置預測,主要是通過對YOLOv8姿態(tài)評估模型在自定義的
    的頭像 發(fā)表于 12-21 10:50 ?1674次閱讀
    如何基于深度<b class='flag-5'>學習</b><b class='flag-5'>模型</b><b class='flag-5'>訓練</b>實現(xiàn)圓檢測與圓心位置預測

    深度學習如何訓練出好的模型

    算法工程、數(shù)據(jù)派THU深度學習在近年來得到了廣泛的應用,從圖像識別、語音識別到自然語言處理等領域都有了卓越的表現(xiàn)。但是,要訓練出一個高效準確的深度學習
    的頭像 發(fā)表于 12-07 12:38 ?1039次閱讀
    深度<b class='flag-5'>學習</b>如何<b class='flag-5'>訓練</b>出好的<b class='flag-5'>模型</b>