一级黄网站_波多野结衣片子_欧美性极品_熟女高潮一区二区三区_亚洲最大成人在线_xxx在线播放

目錄

AI 在移動影像領域,搞了場“無聲變革”

手機數碼2025-04-03
張磊,70 后,羅俊,80 后,兩位早已超過 35 歲門檻的男士,眼神帶著工作的疲憊,但身上卻沒有流出“中年焦慮”,反而更像剛畢業的學生一般充滿了干勁。張磊是 AI 算法大牛,香港理工大學講座教授,在深圳帶著一個有 30 多號人的實驗室,琢磨著如何通過 AI 讓手機影像更強。羅俊是他的搭檔,任職 OPPO 影像算法總監,頂在前面,拆解各種需求,并把算法工程化...

AI 在移動影像領域,搞了場“無聲變革”-第1張圖片.jpg

張磊,70 后,羅俊,80 后,兩位早已超過 35 歲門檻的男士,眼神帶著工作的疲憊,但身上卻沒有流出“中年焦慮”,反而更像剛畢業的學生一般充滿了干勁。

張磊是 AI 算法大牛,香港理工大學講座教授,在深圳帶著一個有 30 多號人的實驗室,琢磨著如何通過 AI 讓手機影像更強。羅俊是他的搭檔,任職 OPPO 影像算法總監,頂在前面,拆解各種需求,并把算法工程化,裝到手機里。

在 OPPO 前海辦公樓里,剛認識張磊不久,羅俊就意識到他是一個從學校里走出來的大牛,身上充滿學術氣息,他團隊的不少人也都是門下學生,工作氛圍與公司其它部門有些不同,但它更有凝聚力。

不過,對于具體的手機影像鏈路和成像等工程方面,張磊團隊欠缺實戰經驗。他的團隊強項在 AI,是底層視覺技術和理論的專家。羅俊則從索尼公司開始,已積累了 20 年影像工程經驗。

小概率下,兩個學識、技能互補的人聚在了一起,在 OPPO 公司攜手做一件行業內幾乎是從 0 到 1 的事:用 AI,把手機影像再做一遍。

01“60 倍”的高難度開局

2022 年,張磊加入 OPPO。這一年底,ChatGPT 橫空出世,掀起新風云,代表著 AI 從卷積神經網絡向 Transformer 架構的代際跨越,孕育出各種可能。

對于手機端,AI 大模型如何裝到小的手機里?更重要的是,AI 大模型能否真的可以幫助手機小尺寸的光學硬件“逆天改命”?這里隱約藏著變革機會。很多手機公司都在琢磨下一步的變化。OPPO 影像算法總監羅俊,對算法競爭力負責,“大模型對手機影像的影響比預判提前了兩年”。

AI 在移動影像領域,搞了場“無聲變革”-第2張圖片.jpg

兩人的第一場 AI 戰役,趕上了 OPPO 的 Find X6 項目。通過這個項目,張磊和羅俊初步嘗試了用 AI 模型,來處理傳統的降噪超分計算,并且用 AI 的方式來替換傳統的色彩重建過程。這是對移動影像計算架構的一次革新,用先進的 AI 計算方法,替換了手機中存在十幾年的 ISP 計算方式。在傳統 ISP 計算對降噪和色彩重建已經達到了極限的現在,OPPO 用 AI 計算開拓出了計算影像的新可能。

小試牛刀 AI 之后,他們決定探索長焦,嘗試 AI 大模型。用大模型把 60 倍手機拍攝的模糊照片變清晰,就是一項突破(這個項目后來被稱作 AI 千里長焦)。張磊和羅俊知道,對于手機有限的尺寸來說,他們永遠不可能要求一顆能夠直接拍攝出 60 倍的光學鏡頭。即使對于 Find X8 Ultra 這樣最前沿的手機,6 倍的鏡頭已經是最長的距離極限。而大模型和光學的結合,甚至是對光學物理規則極限的改寫。這讓他們無比興奮。

前提是代碼寫出來,算法跑通,成熟后再工程化落地,投到市場。

02 大模型“賽馬”

執行任務落到張磊團隊身上,成與敗,關系到張磊的顏面,更關系到 OPPO 在影像業內的競爭力。

張磊讓團隊分頭行頭,利用生成式擴散大模型嘗試不同的技術路徑。

其中一個方案被稱為 CCSR,迭代頻數需要 50 步,后面不斷優化,經過兩個月迭代,降到 15 步,最終降到 3 步,已達到極限。

另一個方案,則被稱為 SeeSR。雖然迭代步數略微少,可是輸出圖像穩定性不如 CCSR。只有減少步數,才可以減少手機能耗,縮短拍照成像時間。

有了初步算法,想試試效果?!白钤缒盟惴ㄐЧo手機影像相關的部門的人看,跑完了,大家發現畫質幾乎沒有提升?!钡S著算法的演進,生成式大模型的優勢逐漸體現,CCSR 達到了預期的效果。

根據項目進程,部署時間挺緊張。大家商量 CCSR 改到極限后,部署同事先著手工程化落地。這已經到了 2024 年 3 月中旬,離 10 月份產品上市只有半年時間。

但 AI 技術進化的頻率,還是超出了大家的預料。

有一天,張磊團隊看到在圖像生成領域用 diffusion 做到單步生成也有不錯的效果,這或許也同樣可以讓圖像復原的多步迭代步數減少。在團隊嘗試做出第一版結果后,張磊頗為興奮:推理只用了單步,優點明顯。隨后,張磊猜想另一位同學研究的“文生 3D”使用的分數蒸餾(score distillation)方法,可以加進來。

趕工幾周,算法逐漸成型,最后取名 OSEDiff(單步復原)。4 月中旬,大家著手整理實驗和寫文章,經過團隊一起一個月的努力,文章寫好投到業內頂會 NeurIPS 上。手機界領先蘋果和三星、首創的大模型復原 60 倍長焦圖像項目,自此有了算法雛形。

過了一段時間,張磊組織了一次盲選會,準備了 100 張圖,分別由單步 OSEDiff 算法和 CCSR 復原而成,發給了認知組、測試組、影像算法組、產品線等各個條線成員,讓他們挑選質量更好的照片。單步算法完勝。OPPO 決定“高速路上換發動機”,在項目進度已經基本達到極限的情況下,毅然決定切換更優質的單步算法。

AI 在移動影像領域,搞了場“無聲變革”-第3張圖片.jpg

千里長焦項目在 2024 年 10 月發布的 Find X8 上面第一次成功落地,它應用生成式大模型,可以讓 60 倍數碼變焦拍攝的模糊圖像,經過 2 秒鐘本地運算后變得異常清晰;又在 2025 年 4 月 2 日發布的 LUMO 凝光影像系統中,脫胎換骨似地升級,把 60 倍甚至 30 倍變焦的效果都大大提升,就像給手機鏡頭又戴了一幅“AI 望遠鏡”。張磊與羅俊完成了蘋果和其它安卓廠商都沒有實現的行業首創。

03 沒有先例的困局

做出千里長焦,張磊和羅俊不滿足,雖然這項技術展示了超強的 AI 能力,但“只能算 OPPO 的一個階段性成果”,真正能讓 AI 展示實力、向行業證明 OPPO 的 AI 能力,搭載在 OPPO 全新推出的 LUMO 凝光影像系統,以及搭載這個系統的 Find X8 Ultra 上,里面有 AI 征服手機影像“紐北賽道”的一場新賽事。

設想在夜晚的重慶洪崖洞前,光線錯綜復雜,遠處有各種霓虹燈光,近景有人臉,背對著暗處——夜景人像曾經是很多手機影像工程師的噩夢。興許 AI 加持,才可以有所突破。

不過,羅俊知道內中難處,首先是數據。沒有數據的供給,再力大無窮的 AI,也會力不從心。

一方面,夜間光線稀薄,即使對于手機中最大的鏡頭來說,采集到的光線數據都不富裕,AI 只能反復利用有限的數據,推理出該有的純凈畫面,但結果往往令人失望。另一方面,夜間光線又過于復雜,特別是中國城市 LED 燈光近年來的高速發展,即使對于造價十幾萬的大塊頭的相機來說,將五光十色的城市夜景和人物同時拍出彩,也不是一件可以輕而易舉完成的事情。

第一個問題,相對還算好解決,因為有既定的案例——相機代表的光學規律,就是答案。提升進光量,提升光源的品質,喂給傳感器更多、更優質的數據,這意味著下血本地增加光學模組的性能——簡單點說,就是用更大的鏡頭來吸收更多的光線數據,用更好的鏡頭把光學提純,用更大尺寸的傳感器去接收消化這些數據?!八惴ú荒苊撾x光學,所以 OPPO 一直講軟硬結合,硬件決定了畫質的下限,算法決定了畫質上限。”羅俊一直強調。

AI 在移動影像領域,搞了場“無聲變革”-第4張圖片.jpg

在 LUMO 凝光影像中,OPPO 拿出了一顆全新的 70mm 焦段的人像主攝。這顆攝像頭的進光量達到了前代產品的 150%,成為同級別中進光量數一數二的“大塊頭”。不僅如此,為了更優質的光源數據,羅俊的戰友——光學團隊,甚至“發明”了一種全新分子結構的玻璃材料,對紅外光這種“雜質”的過濾性甚至比傳統最好的一種玻璃材質還要高 81%,就為了給到 AI 更優質的原始數據。

但第二個問題,夜間光線過于復雜的帶來的影響,即使在相機超過 100 多年的歷史中,也找不到答案。

在相機還統治攝影的上個世紀,城市夜晚的人造光源,基本只有白熾燈和熒光燈兩種類型。而進入 21 世紀,LED 迅速成為光源的主力軍,甚至淘汰了前面的兩種光源。

LED 光源色彩是多種多樣的:暖黃的路燈(約 2700K)、冷白的建筑照明(5000K-6500K)、霓虹廣告的彩色光(RGB 混合)可能同時存在。

傳統相機的全局色溫算法(基于單一白平衡預設或自動檢測場景主光源)無法精準適配多區域色溫差異,直接導致照片的局部色偏,也就是畫面中不同區域因光源色溫差異呈現割裂的效果,最典型的是在進行夜景人像拍攝時,人物的膚色會被多重色溫的光源嚴重“染色”。

羅俊和他的同事們,最開始也考慮過使用 AI 技術對畫面不同的區域進行理解和分割處理,但缺少原始的色溫信息的數據,AI 模型也無能為力。

“不得不去發明一個新的攝像頭,來給 AI 提供更精準的色溫數據。”這就是在即將發布的 Find X8 Ultra 上,多出的一個攝像頭——丹霞原彩鏡頭。它第一次能夠對畫面中的色溫信息進行空間區域的分割,分別采集各個光源區域中的色溫,這意味著后端等待的 AI,第一次對夜晚的光色,有了精準的數據源。對于羅俊來說,更精準的數據,讓 AI,第一次在色彩這件事上有了大展拳腳的空間。

然而,被數據喂飽的 AI,又遇到了無法解決的新難題。即使 AI 已經因為丹霞原彩鏡頭,可以看透夜色的本質,可以將夜色和人物的膚色準確還原,但依然無法看透用戶的心。

04 科學家不懂藝術家

就在張磊加入 OPPO 的第二年,為了讓影像技術的角逐,回歸攝影的審美,統一照片審美認知,OPPO 專門從一些美術學院、攝像協會挖來了一些攝影專家,成立了一個影像認知組,對好的效果給出定義。

“關于效果的文字性描述,很難量化,無法確定客觀標準。”藝術圈與工程界跨圈層對話,中間隔著多少詞語與定義的暗礁,誰也說不清。張磊感嘆,“有時候,我盯著兩張圖片看,硬是找不到區別?!?/p>

羅俊同樣感受到的 AI 算法疊加的困難:“算法是一個黑盒,一些照片輸入進去,誰也不知道它會輸出什么。而有時這些效果調好了,另外一些效果就因為互斥而出錯?!?/p>

2024 年 4 月份以來,張磊與羅俊持續與認知組一起對齊標準。羅俊說,這項工作各廠家都在探索階段,以前從來沒有人做過,也就沒有工程標準化流程(SOP),甚至連采集多大量的數據集算夠,都沒有人能說清楚。

而且諸多工作又多了一個核準維度。2024 年初,OPPO CEO 陳明永在內部發起了一項組織變革,“深入一線,創造價值”,所有的工作都要到第一前線去面向用戶創造價值,反映到影像上面,調教出來的拍照,特別是人像照片,要以用戶喜愛為牽引線,同時還要有 OPPO 自身影像追求。

這讓科學家張磊感受到一個不大不小的挑戰。比如,前一段時間用戶受互聯網平臺影響,熱衷于擺拍,過了一段時間,風潮陡變,年輕人又喜歡上轉著圈抓拍。不要小看這一變動,它對影像 AI 算法的調教影響幾乎是全方位的。

但好在,幾個團隊在不到一年的時間里,迅速解決了主觀和客觀評價不容易的問題。為此,OPPO 甚至全新開發出了一個評價體系的軟件。通過這個軟件,負責審美的認知同事,可以將用戶的輸入意見,以及經典攝影審美的案例,轉化成客觀的數據,交給技術人員來進行客觀化地技術調整。比如對于 OPPO 凝光影像對夜景人像膚色的調整,其中包含了丹霞原彩鏡頭提供的技術上絕對準確的信息,也包括了認知審美對于亞洲各種膚色的研究,甚至還會包括與美妝機構聯合研究的一些人因相關的因子。

AI 在移動影像領域,搞了場“無聲變革”-第5張圖片.jpg

有了多次的錘煉,張磊和羅俊們已經習慣摸索著進前。一遍遍嘗試后,AI 算法成像逐步穩定下來,他們有信心在 4 月份發布的全新 Find X8 系列上推出來,接受用戶檢閱。

05 理想,不過時

回首三年多死嗑 AI 影像的過程,張磊有些感慨,教授“再就業工程”在一系列偶然與必然的碰撞之后,逐漸走上正軌。如果沒有 OPPO 公司一再地堅持拋橄欖枝,沒有 OPPO 對影像的執念,沒有羅俊搭建起學術探索與工程實現之間的橋梁,沒有 Y Lab 實驗室里年輕的博士生們不知疲倦的探索……這里面缺了任何一環,他都可能鎩羽而歸,回到校園。

2018 年,通過中間人介紹,OPPO 副總裁劉暢找到張磊,邀請加入。OPPO 在技術研發的投入上雄心勃勃,有一系列研發上的大手筆蓄勢待發,渴望頂尖人才加盟。

不過,劉暢來遲了,張磊當時已基本確定去一家華東的互聯網大公司。劉暢叫上 OPPO CEO 陳明永,一起請張磊在深圳吃了一頓飯。陳明永給張磊留下了平易近人、務實的印象,“沒有大老板架子”。

此后,劉暢一直和張磊保持著聯系,出差到對方城市,會留出專門時間拜訪。在延攬張磊一事上,劉暢把 OPPO 公司“堅持做正確的事”和“長期主義”信條發揮到極致。沒有他的堅持,不會有張磊加入 OPPO。

三年過后,張磊打算換平臺。跟了三年多的劉暢是他的第一選擇,“我信任他”,張磊說:“劉暢是一個非常值得信任的人,我相信到 OPPO 可以實現我手機影像的理想”。

行業內,大家知道 OPPO 在影像上有相當多積累。2012 年,OPPO 第一次為手機上帶來堆棧式傳感器,極大提升手機傳感器感光能力,讓手機在暗光環境拍照成為可能。2016 年,OPPO 創造性地提出了四合一像素聚合技術,這甚至奠定了現在所有手機傳感器像素使用的規則,讓手機能拍出高品質夜景照片。

2017 年巴塞羅那的 MWC 盛會上,OPPO 拿出了世界上第一個潛望式長焦攝像頭,這甚至顛覆了全球各大科技品牌和媒體記者的認知。當時的羅俊甚至沒怎么聽說過 OPPO 這個品牌。當他看到那顆潛望長焦攝像頭后,覺得移動影像大有乾坤。

“我想,這也是打動張磊最重要原因”,劉暢認為,“牛人更看重舞臺,更在意能否實現理想。”


掃描二維碼手機訪問

文章目錄
主站蜘蛛池模板: 久久婷婷激情 | 毛片毛片毛片毛片毛片毛片毛片毛片 | 超碰97在线免费观看 | 91丨porny丨露出 | 亚洲手机在线 | 亚洲精品一二三四 | av男人天堂网 | 天堂中文在线资 | av免费网站在线观看 | 在线观看国产欧美 | 成人免费看 | 中文字幕精品在线 | 在线免费观看成年人视频 | 洗濯屋在线观看 | 国产99久久久 | 午夜视频在线观看一区 | 黄色一级网 | 一级黄色片毛片 | 成年人在线网站 | 精品久久久久久亚洲精品 | 免费看日韩av | 免费在线观看黄 | 国产午夜精品视频 | 亚洲第一视频在线 | 特级西西人体444www高清大胆 | 日在线视频 | 国产精品第一页在线观看 | 成人二区三区 | 青青草好吊色 | 成人xxx| 亚洲一色 | 国产一区成人 | 欧美激情黑白配 | 免费观看成人 | 日本aⅴ在线观看 | 插菊综合网 | 日韩男人的天堂 | 国产女主播福利 | 蜜桃精品视频在线观看 | 免费在线色 | 国产精品50页 |