搜索是 llm 初期最大的 killer app。
gpt-4 已經誕生一年多了，但 ai 應用的爆發速度顯然低於所有人的預期，直到今天，嚴格意義上只有 perplexity 真正實現了 pmf。在這次對談中，我們圍繞「為什麼 agi 應用還沒有大爆發」給出了自己的思考。
ai-native 應用的 pmf 是 product-model-fit。模型能力的解鎖是漸進式的，ai 應用的探索也會經歷從組合性創造、到探索性創造再到變革性創造的躍遷。perplexity 的 ai 問答引擎是第一階段組合型創造的代表，隨着 gpt-4o、claude-3.5 sonnet 的先後發佈，多模態、推理能力的提升，我們已經來的 ai 應用爆發的前夜，也許 gpt-5 發佈後的半年，我們就會大概率迎來 ai-native 應用的井噴。
成本下降也會是應用爆發的關鍵。假如 openai 的 gpt-4o 給開發者的 api 成本大幅下降、甚至下降到可以忽略成本，會哪些應用可以爆發？也歡迎大家在評論區留下自己的猜想。
在本次討論中，我們也分享了對 nvidia、 apple、amzon、tesla 等科技巨頭在 ai 投入上的觀察。今天，絕大多數 ai 應用站在巨頭的核心戰場上，巨頭如何去構建自己的 ai 產品組合也影響着 ai-native 應用的發展和天花板，ai 不會顛覆巨頭，反而會依附於巨頭。巨頭們從 ai 浪潮中受益的確定性極強，如果要真正在新一輪技術浪潮中獲得收益，除了尋找挑戰巨頭的破壞式創新者，識別出那些能夠貫穿周期的價值王者同樣重要。
本篇內容是拾象科技 ceo 李廣密和商業作者張小珺的「全球大模型季報」的第三集，也是對 2024 年上半年全球大模型發展的復盤總結。以下為本文目錄，建議結合要點進行針對性閱讀。（本文較長，建議大家先收藏再閱讀）
01 搜索是 llm 初期最大的 killer app
來源 / tob行業頭條 （id：wwwqifu）
作者 / 頭條 · 編輯 / 頭條
張小珺：你今年依然在美國花的時間非常的多，整個上半年最大的感受是什麼？guangmi li：gpt-4 出來一年多了但 ai 應用還沒大爆發，從結果上看是比較無聊的。拋開 chatgpt 這種大模型公司自己的應用，硅谷主流 vc 投資的、已經跑出來且發展到一定估值的，我可能只能想到 perplexity，這家公司現在已經有 2000 多萬月活、2000 多萬美金的 arr，預計今年年底可能有 1 個億左右的月活和一億美金 arr。其他很多公司可能還在 pmf 之前的階段。
張小珺：可以給我們展開介紹下 perplexity 這家公司嗎？關於這家公司的 ceo 、創業團隊和創業過程。guangmi li：perplexity 是 2022 年 8 月份成立的， ceo 是一名印度裔、是 berkeley 的 cs phd，他最早在 openai 和 deepmind 都實習過，畢業後就加入了 openai，一年後又出來創立了 perplexity。perplexity 的 cto 最早是微軟 bing 的搜索工程師，後來加入美國的知乎，quora， 創立 perplexity 前他在 meta ai 工作。perplexity 整個團隊現在大約有 50 個人。我印象很深的是團隊剛開始創業時，硅谷最核心 ai 圈子的人幾乎都投了他們，比如 google 的 svp jeff dean、 meta 的 yann lecun，還有 openai 早期團隊的 pieter abbeel、andrej karpathy、知名的 solo gp elad gil、github 的前 ceo nat friedman、databricks 的 co-founder reynold xin、hugging face 的 ceo 等等，amazon 的創始人 bezos 個人也參與了投資，並且 bezos 還是 google 的天使投資人，對搜索還是比較懂的。perplexity 是 2023 年初完成的 a 輪融資，最近又完成了第四輪融資，bessemer 領投的，最新估值達到了 30 億美金。張小珺：perplexity 在 chatgpt 發佈之前就成立了，他當時為什麼出來從 openai 出來創業？為什麼他能拿到幾乎整個硅谷核心圈子的投資？guangmi li：首先， ceo 本人就對 ai 搜索、信息分發感興趣。當時投資人們也都有一個感覺是 chatgpt 是一定會做搜索的，像 perplexity 這種能做好搜索產品的團隊是值得被 openai 再收購回去的，作為投資人也有機會再換一些 openai 的股票。張小珺：perplexity 的最新估值到了 30 億美元，它的估值為什麼這麼高？guangmi li：搜索還是互聯網上最肥、最大的市場。微軟 bing 只有全球搜索 3.4% 的份額，但產生了 120 億美金的年營收，ai 搜索只要搶到 google 1%-2% 的份額，這個生意就很大。ai 搜索應該是大模型初期最大的 killer app，而且我們能看到 perplexity 單個活躍用戶每天搜索的 query 量其實是 google 的 3 倍多。其實去年我們內部第一次討論 perplexity 的時候我問過一個問題：把 perplexity 的這種形態和小紅書做比較，會是什麼樣的？一個是 aigc，一個是 ugc，其實本質都是在做好信息分發，幫用戶解決問題，並且都是在搶傳統搜索的生意。小紅書搶了很多百度的搜索流量。其次，我們把 perplexity 和早期的頭條做過對比，2013 年的時候，頭條 app 的次留有 46%，後面即便用戶規模大了，反而留存還更好了。perplexity 的留存其實和頭條早期基本上是一樣的，長期留存很高，我記得是顯著比其他的 ai 產品是高的。perplexity 的數據增長一直比較好，公司過去一年產品迭代很快，一直在穩定增長，月度環比增長都在 20%以上。還有一點，站在今天復盤過去一年 ai 領域的進展，信息檢索是匹配模型能力最重要的 use case，其次重要的可能是教育，這兩個是真正匹配今天模型能力的場景。如果大家理解了今天的模型能力，再去理解這種產品是比較 match 的。其實今天評價 pmf，最重要的還是兩個要素：第一，留存好不好，第二，商業化模型好不好。留存肯定過關了，但是商業化上確實是沒有廣告平台這種效率高的。我感覺這也是 ai 產品今天面臨的一個普遍問題，因為廣告這個模式其實在 pc 時代就非常成熟了，所以移動的時候搬過來很容易。perplexity 的留存好，有一個很重要的原因是產品心智。之前我們的播客聊到過，其實 ai 產品今天還沒有很強的網絡效應、規模效應和數據飛輪，所以目前的產品重點就是用戶心智。perplexity 佔到了 ai 搜索的心智， chatgpt 佔到了 chat 的心智， character ai 佔到了陪伴的心智。其實就像 google 早年佔到了搜索的心智一樣。ai 搜索未來還是有想像空間的，agent 落地以後，其實搜索還是最適合 agent 落地後的一個場景，對用戶的個性化的知識、複雜問題包括後面的 action、執行落地等，這個對用戶的決策幫助是比較大的。張小珺：你覺得過去一年為什麼是 perplexity 跑出來了？guangmi li：去年這個時候覺得 chatgpt 應該做搜索，所以 perplexity 在過去大家覺得是有收購價值的。今天 openai 也真的決定做搜索了，那其實說明信息檢索是匹配模型能力最重要的 use case。這個過程中更重要的一個體會是理解大模型能力到底能匹配什麼 use case。之前我們聊到模型能力是漸進式解鎖的。我們作為一個知識工作者一般有幾類的創造性任務：第一，組合性的創造。第二，探索性的創造，第三，變革性的創造。信息檢索就是一個組合性的工作，是最能匹配今天模型的能力的。像長距離推理工作，比如我們寫一篇 tesla 的投研報告，這是一個探索性的創造，需要規劃、也需要各種推理。那比如像科學發現萬有引力定律、發現摩擦力這種屬於變革性的創造，而今天大模型還比較難做到這種舉一反三的任務，也比較難處理沒見到過的任務。perplexity 這個團隊對現在的模型能力的邊界理解是很深的，模型今天還沒有自由探索的能力，目前更多的還是信息組合的能力。今天模型的能力剛好契合了 perplexity 做複雜信息問答的 use case。張小珺：perplexity 是對「模型即產品」、「模型即應用」這種說法的反擊嗎？因為創始人說他是先思考產品，再思考模型，而不是像很多大模型公司提出的是先提高模型能力、再同步去想產品。二者之間的思考邏輯其實是反的。guangmi li：其實 perplexity 也 fine tuning 了一個 mistral-7b 的模型，足夠覆蓋很多 query了。一方面是成本考慮，還有一方面是 perpleixty 要向下改模型，但它不能要求 gpt 改、不能要求 claude ，所以 perplexity 自己也 fine tuning 了一個小模型，最後還是要端到端 full stack 來做優化。張小珺：我們應該先思考模型再思考產品，還是先思考產品再思考模型？guangmi li：這個沒有標準答案。今天 openai 也做搜索了，但 openai 做搜索能不能做好我們是不知道的。spacex 有發射能力，能做 starlink，那如果 spacex 的發射能力是開放的，別人藉助它的能力能不能做好 starlink？今天的 api 也都是開放的。如果 perplexity 能向下改模型，或者假如某一天 anthropic 收購了 perplexity，那我覺得他去跟 openai 競爭是很好的一個組合，因為 perplexity 往下走肯定是要跟模型更深結合，而改模型資源投入太大了。但收購這件事很難假設、也很難預測。張小珺：海外獨角獸翻譯過一篇對 perplexity ceo 的採訪，裏面提到 perplexity 一開始堅決的用外部模型，因為目標是打造以產品為核心的公司，所以不要在訓練模型上花費時間，而是先專註產品、做用戶增長、做好留存，這是先解決的問題最重要的一步，perplexity 接下來會再去訓個自己的小模型嗎？guangmi li：這個很合理。如果今天我自己做一個應用，我肯定也是基於最好的模型的能力先做 pmf，之後我會想成本下降問題，再之後我要做端到端的優化，甚至蒸餾一個小的模型來 cover 特定、熱門的 query 問答，我覺得這是一個很合適的路徑。如果今天我做一個特定領域的助理應用，我肯定是先用 gpt4 最強的模型先做 pmf，之後想辦法降成本、想辦法去做自己的模型，這樣還能去改一些東西。其實今天我 distill 一個模型，比如 distill 1t 的數據，今天好像也花不了太多錢，其實比從頭 train 一個模型成本是低很多的，那我可以 own 一個自己的模型，有可能未來很多的應用公司也會 own 自己的小模型。
張小珺：如果按照我們之前說的「漸進式解鎖」，即模型能力在提高期間會解鎖出不同的應用的邏輯。那未來比如 gpt-4 到了 gpt-5 的水平，現有產品的護城河是什麼？擁有更大、更強模型的公司會不會抄一個它的產品形態就把它碾壓了呢？guangmi li：其實是有可能的。只能說過去一年 chatgpt 做即時性的信息檢索效果太差了，所以是留有這個窗口的。所以 perplexity 必須要提高自己的模型能力，甚至跟一個模型公司深度合作、一個巨頭深度合作。張小珺：perplexity 能夠冒出來有哪些因素很關鍵？guangmi li：我覺得有一個關鍵角色：nvidia 投了它，所以老黃幫 perplexity 帶了很多量。有一次老黃公開提到用的最多的一個產品就是 perplexity，老黃給它代言了，並且 perplexity 的 ceo 自己也常常出來分享自己的思考。其實在知識工作者這個群體，perplexity 一開始佔位是比較好的。兩個因素比較重要：第一，ceo 持續佈道，佔住了 ai 搜索的心智。第二，公司在增長的動作上也做了很多工作，因為這個產品的核心就是增長。張小珺：問一個 vc 經常問的問題：perplexity 怎麼和 google 競爭？怎麼和 openai 競爭？guangmi li：我感覺競爭的問題其實 perplexity 創業第一天回答不了， a 輪也很難回答，今天估值到了 30 億美金的時候其實也很難回答，有可能後面走到百億美金、甚至幾百億美金的時候還是很難回答，其實頭條在一開始也很難回答怎麼跟三大門戶競爭的問題。所以競爭問題我也沒什麼好的答案。但我自己感覺這個答案可能會是錯位競爭，因為 perplexity 其實不是完全一樣的產品和技術。錯位競爭是比較重要的，創業公司應該好好理解一下錯位競爭，和巨頭直接硬碰硬是很難的。perplexity 找到的是 llm 最匹配的一個能力的領域：知識工作者，use case 是信息問答，尤其是複雜的信息問答，圍繞商業、本地生活等。google 擅長的是網頁的導航，包括交易信息的搜索。perplexity 其實做的是對應傳統搜索中差不多 5% 的複雜問題問答，這個是傳統搜索沒有做好的，也是搜索中皇冠上的明珠。與 openai 的競爭其實還是主要看 openai 自身。因為 openai 還是科研文化，接下來這種科研文化和產品文化能不能平衡好比較重要。如果 openai 的技術交給頭條，到今天產品和商業的收益可能是 openai 的 3- 4 倍。做好產品、商業的文化可能還是屬於位元組或者meta 的組織文化。最簡單一個例子，假設搜索產品團隊覺得某個能力不行，想向下改模型的數據，想看模型團隊同意不同意，我覺得 openai 的模型團隊可能是不同意的，是不想改動模型的基礎數據的。openai 可能就 10 個人做搜索，perplexity 是 50 個人專註在這一個事上，我覺得不見得比他們差。還有一個點是未來還有很多產品形態本身的變化。大家天然會覺得搜索和 chat 就應該給即時性的答案，但其實我們很多工作上的任務都不是即時性的，比如我們和同事協作都要做多步規劃，甚至一周以後再給一個結果。一個複雜問題拆成多步、多次的搜索得到一個更好的答案，這也是一個潛在的狀態。未來用戶很多的任務就在一個看板上，然後用戶持續地 prompt，那 workflow 就都跑在這樣一個 ai 產品上了，這也是一個未來更有意思的形態，尤其是在 agent 落地以後。張小珺：你覺得 perplexity 今天構建的護城河是什麼？張小珺 ：它未來是會獨立長大還是被併購？終局會是什麼樣的？guangmi li：80% 的可能性是被併購的，創業公司今天好像都在巨頭的輻射之下，不知道怎麼殺出來。最近我們團隊都買了 meta 眼鏡，如果 meta 眼鏡上接入一個語音版的 perplexity 其實挺好的，過去 siri 的搜索沒做好，接一個也蠻好的。微軟的 bing 好像做了半天 ai 口碑也沒那麼好，perplexity 的口碑反而很好，所以感覺都是在巨頭的輻射之下的，而且這是一個核心戰場。
張小珺：對於 perplexity 的出現，國外 google、國內百度這類傳統搜索公司有什麼樣的應對策略嗎？
guangmi li：google 出了一個 sge 產品，包括 overview，但好像口碑不是很好。百度好像還沒有動作，國內好像有一個秘塔。但國內有個很現實的問題是內容是割裂的，因為中國過早的進入了移動互聯網時代，小紅書的內容很難檢索、微信的內容也很難檢索，甚至知乎的都不一定那麼開放。高質量內容的有效性是比較少的。百度搜索出來的首頁里，百度自己的內容占很大比例，所以中國的內容的割裂性和海外的這種 pc 形態主導模式的區別是比較大的。張小珺：中國的 perplexity 更有可能是巨頭的菜，還是創業公司的菜？
guangmi li：我個人感覺肯定是巨頭的菜。其實位元組一年前就應該做一個這種產品去打百度，信息流就是對百度廣告的一個很大的搶份額機會，只是感覺很多人還沒意識到這是不是一個 pmf，有的人覺得 perplexity 也還沒有完全 pmf，以及長期面臨大模型公司本身的競爭。張小珺：perplexity 今天的估值和國內的月之暗面是一樣，都是 30 億美金，這意味着兩家公司是除了 chatgpt 以外全球並駕齊驅的明星 ai 公司。他們兩個在模型和產品形態上，你覺得本質區別有哪些？guangmi li：還是基礎大模型公司，但是他們的產品做的特別好。kimi chat 其實也抓了很多知識工作者的心智，用戶畫像和 perplexity 也比較接近，有重合。張小珺：kimi 是一個從大模型到應用的公司，而 perplexity 是一個從應用到模型的公司，先後順序其實是不一樣的。guangmi li：應用公司是很難往下做模型的，只是做基礎的模型的一些調優。我感覺中國的模型公司是必須得往上做應用的，所以美國出來哪些好的 use case ，我覺得大家都會借鑒的。張小珺：如果我們畫一個腦圖，在海外市場，perplexity 這類 30 億美元估值的 ai native 的公司在第一梯隊。那第二梯隊、第三梯隊的 ai 創業公司有哪些？guangmi li：今天第一位肯定還是 openai，chatgpt 已經上億的 dau 了，還是很了不起的。the information 曝出來 openai 的 arr 已經 34 億美金了。我們盤了一下整個硅谷其他所有 ai 公司的 arr 加起來應該還不到 15 億美金，所以可能還不到 openai 的一半。 anthropic 是完全 to 企業端，toc 很小。它可能是 openai 今天的 1/10，大概 3 億多美金。character ai 有 600-700 萬的 dau，估值是 30-50 億美金。最近比較火的 ai 程序員是 20 億美金，還有很多想做 agent 的一些公司，比如新出來的 reflection， 出來就幾億美金。邁到獨角獸級別的感覺應該就 10 家公司，但都還是在 pmf 之前，有規模化的 arr，比如 超過 10 million arr 的其實還是非常少。張小珺：看起來大模型公司要比 ai native 應用的公司估值都要高？guangmi li：大模型公司的估值肯定是顯著高的。openai 是千億美金量級，anthropic 和 elon musk 的 xai 都是 200 億美金估值，再往後是 mistral，50-60 億美金，character ai 是 30-50 億美金， cohere 也有 40-50 億美金估值。ai-native 應用中跑出一定量級、故事比較好的有幾個獨角獸，但很多公司的估值都還是在小几億美金。張小珺：所以 perplexity 是在 ai native 應用裏面的估值第一？guangmi li：純應用的公司中是它的估值比較高的，不做模型的公司裏面應該是估值最高的。
張小珺：我前段時間寫了一個報道，講的是中國資本在大模型領域的投資故事。海外大模型的撲克牌是什麼樣的？和中國資本參與的顯著不同是什麼？guangmi li：海外更清晰一些，沒有那麼混沌。aws 和 anthropic 深度綁定，微軟和 openai 深度綁定，而 elon musk 是自成一派，靠自己的影響力融了 60 億美金，未來可能還能融更多錢。character ai 想再融幾個 billion 美金的錢可能比較難，mistral 最近剛融了 5-6 億美金。所以前面獨立的公司只有三家：openai、anthropic、xai。今年年內這三家公司都已經有了 3.2 萬卡的集群，到明年都是奔着 10 萬卡的集群去的。如果沒有一個極強的大腿再支持幾個 billion 美元量級的融資，其實挺難在大模型這裡去卷的。我比較期待未來 6-12 個月，apple 和 meta 這兩個怎麼選？巴菲特 push apple 了 1100 億美金的回購。如果是我的話，我覺得蘋果應該去收購一家公司。meta llama 團隊的人才密度感覺還是不夠的，可能還是有船票的。elon musk 拿到了最後一張船票。guangmi li：meta 是有很多卡的，而且集群能力也是很強的，當其實人才上還是明顯弱於前幾家模型公司的。elon musk 的 xai 其實像紅杉美國、a16z 這些基金都參與了，每家應該都放了 5 億美金左右，這對於 vc 基金還是挺大的一筆錢。
來源 / tob行業頭條 （id：wwwqifu）
作者 / 頭條 · 編輯 / 頭條
張小珺：我們剛才講完了整個大模型和 ai native 應用到底有哪些公司，以及他們的估值。根據你的觀察， ai 原生應用大爆發了嗎？guangmi li：還沒有大爆發。gpt-4 出來一年了，大家也試了一年，其實是沒有系統性的大爆發的。90% 的因素是只基於 gpt-4 的能力水平是不夠的，只能做信息組合的創新，而沒辦法做長距離的推理、創造型工作，所以還是得卷下一代模型，尤其是推理能力和多模態能力。還有 10% 的因素是時間問題，未來只基於 gpt-4o 的能力水平還是有概率能做出來大的應用的。nlp 已經出來 20 年了，也不算絕對成熟，但是也誕生了搜索這種 killer app。電力發明以後很長時間也只有電燈泡這一個 killer app，但隨着時間推移，各種消費電子也都發明出來了，各種家用電器也都有了。大家打磨了一年多，也快有一些 pmf 的意思了，這裡需要年輕的產品天才。guangmi li：比如我就想要一個幽默版的 chatgpt，會講段子、討人開心，這個不是一個傳統的產品經理能解決的，產品形態再怎麼設計都很難，還是需要基礎模型能力變強。我一直比較相信高情商是建立在高智商的基礎上的，首先模型要理解用戶，理解用戶的環境、背景、context。理解用戶這個圈子在發生什麼，還能舉一反三。想實現幽默這一個點就不太容易，只有產品形態上的改變是不夠的，也得向下改模型的性格、改數據。張小珺：你覺得應用大爆發的關鍵條件有哪些？我們之前在元旦跨年的節目裏面也提到了，當時總結是有兩條線：第一是能力上漲，第二是成本下降。今天你還維持這個判斷嗎？guangmi li：這還是最重要的兩條線。我們和用戶、開發者和企業客戶這三類用戶做過訪談後發現他們會關注 2-3 個要素：第一是模型能力，第二是調用成本，第三是速度、latency。假設模型能力不變，維持 gpt-4o 這個水平，如果未來一年速度再提升 3-5 倍，gpt-4o 比 gpt-4 turbo 其實已經提了 3-4 倍的速度，如果成本還能再降 100 倍，是今天 gpt-4o 定價的 1%。那僅僅是速度提升 3 倍、成本再下降 100 倍，還是能催生很多東西的。openai 最近推出了 chatgpt 桌面客戶端，大家可以試試，非常方便，快捷鍵能直接調出來，我的信息檢索基本上就不用再打開 chrome 和 google 了。chatgpt 今天已經 1 億多 dau，如果客戶端、手機端做得足夠好，未來做到 3-5 億 dau 是很有希望的。到那個時候我覺得 openai 是絕對可以掀翻 google 一個牆角的。這裡可以提一下，成本下降是高度確定的，但不一定是最重要的。最後還是取決於模型最後的經濟價值。不是所有的 token 都有同樣的價值， token 的質量決定了模型的商業模式，比如我今天問 chatgpt 要買什麼股票，它能告訴我買 aws 還是 meta，或者告訴我 tesla 該買還是賣，那其實遠比給我一大堆搜索結果、各種報告是有意義的。單位 token 的價值是更重要的，這還是模型能力本身決定的，這個就代表着一個模型工資的高低。張小珺：chatgpt 告訴你買什麼股票你敢買嗎？guangmi li：決策肯定會還是我做的。但有些基礎分析我覺得慢慢可信度是在提升的。張小珺：模型的未來會分不同的工種，不同工種的定價是不一樣的？guangmi li：比如我經常會問我們的分析師幫我研究一下幾家公司的對比。之後交互更好其實就可以問 ai 了。模型肯定是會出錯的，但是準確度和可信度都會經歷持續提升的過程。張小珺：那是需要模型在垂直領域有更深的見解、有更多的數據獲取、能力更強，才能夠這麼定價嗎？guangmi li：所以 openai 一定要把搜索做好才能滿足更多人的檢索準確度需求。比如 openai 未來在金融領域的數據上再做很多的工作、做很多的 fine-tuning，那其實就能滿足金融投研從業者的需求。張小珺：未來 6-12 個月哪些是你覺得高確定性要發生的問題，哪些是高賠率問題？guangmi li：高確定性的關鍵詞就三個，第一是成本下降，第二是多模態改變交互，第三是端側。成本下降其實是一個時間和工程問題，而且下降的速度可能會大幅超越大家的預期。創業者其實應該按照免費的心態去想怎麼構建應用？其實不惜用量，就應該用最好的模型的 api 去制定 pmf。其實未來一段時間我也想沿着成本下降這條路去看看新的機會，之前哪些場景因為成本快速下降就突然 work 了，感覺還是會出來很多的。 我預計企業級裏面會比較多。比如企業有知識庫、各種 data base。如果可以無限檢索，那準確度就會提升。多模態方面是下一代交互。 可能是今年最值得關注的一個方向，也就是新一代的交互界面。打字還是太消耗了，而聲音大幅度降低了交互的能耗，就像觸屏手機比鍵盤手機能耗更低。gpt-4o 是第一個端到端、聲音進聲音出的大模型。這個技術路線下，下一代交互的一個開始就是低延遲、高智能。 gpt-4o 的出現其實能讓端到端的新交互變得更快。核心的變量是 4o 的聲音 api 什麼時候開放，可能短期還不會開放。手機觸屏的交互模式催生了短視頻，那聲音的 agent 是不是能孕育一個新交互模式的抖音應用機會？誰會是 voice 領域新的抖音？多模態改變交互的確定性很高，決定了 ai 原生應用的下限在哪，但我更期待的是多模態未來可以提升模型的邏輯推理能力，而這個目前還不確定，那其實也是一個高賠率的問題。今天多模態的數據知識密度太低，現存的多模態數據到底適不適合 ai 學習會是一個問題。網上很多的視頻都是人工剪輯後的，比如我們看到一個房子的大門後就直接進入到客廳了，人是知道怎麼走過來的，但對於 ai 要怎麼能一步一步的理解兩段視頻場景之間的邏輯關係比較重要。其次，今天多模態的泛化能力也不夠，比如讓模型讀特定領域的 pdf 文件，如果很多地方沒對齊，它其實就讀不出來的還有就是假如未來 gpt-4o 就在我們的眼睛、手錶、手機上裝着，可以實時聽着我們，那以後我們也不用 hey siri、hey meta 來喚醒它了。模型未來可以實時地插話，我覺得這也是一個更好的交互形態。 第三個高確定性問題是端側，scaling law 是讓模型變得更大，探索智能的邊界和新智能的湧現能力，但大家其實遠遠低估了模型變小的速度。未來 6- 12 個月可能就會有一個 3b 大小的的模型也能達到極好的效果。比如 gpt-4o 明年就變成了能跑在手機上一個 3b 的小模型，那對 pc 和手機端側帶來的機會還是比較大的。過去一年我們卷的是雲端數據中心的基建，可能未來一兩年，甚至更長時間我們會卷端側的基建。今天 iphone 的內存是 8gb，未來可能就是 12gb、 24gb 往上提升。端側的機會是很大的，模型變小的速度也是很快的。之前不 work 的產品，比如 iot 互聯網，有可能也是會重新 work 了。高賠率事件會有幾個，最重要的還是邏輯推理能力。這個也還是不確定性的科學問題，目前有兩三個路徑在嘗試，也有非常多的 tricks。但大的方向上，下一代模型有更大的參數、更多高質量的數據、更大的模型，這個確定性是比較高的。還有就是解題和持續的 inference 也是提高邏輯能力的一個重點。另外一個是可解釋性的重要程度還是被大家低估了。可解釋性如果能有突破，模型的可控性也就解決了。就像廣告系統可以定向給模型的回答加一些針對於用戶的傾向性。另外一個高賠率的問題是模型的組織能力。全球所有的 ai 公司中，只有 openai 的組織是相對工業化的。其他的 ai 公司都還有些實驗室的感覺。比如好萊塢是持續的產出好電影的，導演和演員，誰被替換掉好像也都可以。openai 持續做科研的成功率是比較高的，目前推出 gpt-4o、之前推出 sora，未來還是會持續推出很多東西的，如果按照單位 gpu 來看，openai 的產出肯定還是最高的。最後一個高賠率的問題是，如果明天 agi 就實現了，那應該是用一個什麼產品來承接？產品的載體值得思考，是手機上的 app，還是各種其他的東西？其實還有一個高賠率和高確定性的問題，gpt-5 和 claude-4 的能力提升，我覺得大家應該樂觀。guangmi li：今天最主要的挑戰是蒸餾。簡單理解就是，比如我做了一個應用，應用中有 90% 的 query 可能都是圍繞 1000 個問題，這 1000 個問題我用不同的方法去問 chatgpt，chatgpt 給我的回答就足夠我去 train 一個自己小模型的語料了。這種方法的不足是相當於讓一個小學生、中學生能力的模型，通過死記硬背變得能說會道了，但其實不知道模型是不是真的智能。其次是一個人總是能說會道，但是不會做任務，長期也是不行的。蒸餾會增加 hallucination，模型有時候不知道自己在說什麼，不知道自己不懂的問題。openai 訓練的小模型效果可能比別的公司的大模型效果還要好。張小珺：端側的小模型肯定是會必然發生的嗎？端側小模型的意義是什麼？guangmi li：假如有一個 gpt-4o 在手機上時時跟着用戶，隱私永遠存在手機上用戶是更放心的，但如果存在雲端用戶是不放心的，隱私是一個很重要的問題。如果用戶有一個很強的 ai 助理就在手機上，全天 24 小時打開它，用戶也是樂意的。但是在雲端用戶可能就不一定樂意了。 ai 消費硬件還是很多中國創業者的機會，我們也看到很多創業者在考慮 meta 眼鏡這種方向。這個形態蠻有意思的，但主要是今天的 ai 能力還不太行，但未來有可能做的事還是更多的。張小珺：剛剛提到 openai 的組織能力工業化，這個工業化體現在哪裡？guangmi li：openai 的組織可以持續產出新的東西，做科研的效率也是最高的。比如一個很年輕、沒有太多的工作經驗的 phd，到 openai 一年就能產出 sora，這個是蠻厲害的。openai 的 infra、怎麼做事情、怎麼做實驗、怎麼定目標都是很強的。未來還會有更多這種例子。張小珺：如果只保留 1-2 個能力，接下來你覺得能力躍升的重點是什麼？guangmi li：我覺得是邏輯推理能力加上多模態能力。張小珺：如果 openai 的 gpt-4o 給開發者的 api 成本大幅下降，下降到可以忽略成本，哪些應用可以爆發？guangmi li：我也想順帶圍繞這個問題做個調研，大家可以在評論區留言。我自己會首先看企業級應用。如果 api 成本可以忽略，那企業內的知識庫、內部的數據庫都可以放進去並且無限次檢索，那準確率是很高的，能讓企業內的 use case 落地。比如企業的客服場景，先前大家覺得大模型出來之後，ai 客服是理所當然的，但其實過去一年並沒有大規模出現 ai 客服。我們前段時間做了一些客服訪談，目前反饋最大的問題，第一是大模型不夠可靠，還不如 rule-based 的客服系統更可控，大模型容易亂回答，因為本質還是一個概率模型。第二個是 rag 信息檢索是很難做好的，今天是沒有一個端到端、自動化、傻瓜式的 rag 產品能讓檢索做得很好的。如果要精準的檢索企業內的數據，那如果成本降低，企業可以大規模、無限次地試，那可能對企業內的 use case 落地是有很大幫助的。張小珺：能不能總結一下 gpt 在過去一年定價的下降的幅度？guangmi li：假如按照每 100 萬 token 的定價來看，不同的三個版本。從輸入端上看，最早的 gpt4-128k，對應的是每 100 萬收費 60 美金。gpt4-turbo 下降到了 10 美金，gpt-4o 下降到了 5 美金。輸出端上，最早的 gpt-4 是 120 美金，gpt4-turbo 下降到了 30 美金，gpt-4o 已經是 15 美金了。過去一年定價已經下降了 10 倍，和我們之前新摩爾定律的預測是一樣的。這個趨勢其實是符合我們預期的，但我也會比較好奇為什麼 openai 不更激進地降價？如果它更激進降價，對很多模型公司是一個毀滅性的打擊。張小珺：你觀察下來， ai 應用型的人才畫像會是什麼樣？guangmi li：年輕人，90 後、95 後。其實和一些老的人聊，感覺包袱都很大，都想把產品確定的需求規划出來，包袱挺多的，尤其是 90 後、 95 後。傳統的產品是一個自動販賣機，是有固定的按鈕、固定的 sku 的。但今天模型不是一個固定的東西，是一個隨機性的概率模型，要接受這種不確定性的結果。張小珺：可以給 ai 新物種大爆發一個時間的預測嗎？guangmi li：gpt-5 出來後的半年，因為需要給大家一些實驗的時間。
來源 / tob行業頭條 （id：wwwqifu）
作者 / 頭條 · 編輯 / 頭條
張小珺： 為什麼 gpt-5 和我們想像相比來得這麼慢？去年我們很多的預期都是可能這個時候就已經出來了。guangmi li：還是受限於 gpu。由於算力需求大，硬件供給還是不夠。gpt-4 相比 gpt-3 是幾十倍的算力提升，gpt-5 相比 gpt-4 也是十幾倍的算力提升。h100 芯片大批量到貨的時候已經是 2023 年的 q4 了，集群搭起來還需要很多時間，大的 gpu 集群也不穩定，到今年初才能做大規模的訓練，因為從拿到 gpu 到真正能大規模的訓練可能還需要半年時間。所以這並不是一個 ai 的問題，也不是大家提的數據不夠用問題，更不是 scaling law 遇到瓶頸的問題，就是實實在在的 gpu 物理世界建設問題。其實是簡簡單單的需要更大的算力。隨着模型變大，系統的複雜度也是指數提升的，因為模型變大以後出現的問題是大家可能之前想像不到的。張小珺：這也 call back 了我們上一期節目 受限於物理條件的問題。gpt-5 預計什麼時候來呢？會帶來哪些根本性變化？guangmi li：預期是今年年底。還是應該強調下 scaling law 應該是沒有減速的，雖然外面噪音比較多，但還是要相信這些全球範圍最頂尖、最聰明的科學家，硅谷幾個大的科技公司都是巨量投入到下一代模型中。具體來講，相比於 gpt-4，gpt-5 的參數上還要大 3-5 倍，假設是 5-10 t 參數，數據量也要比 gpt-4 大 7-10 倍，不排除 openai 可能也會發多個版本。未來可能是會走向非常大的 moe，參數量巨大，但是激活不一定大，激活可能做到 500d。gpt-5 能做到多模態輸入、多模態輸出，但很難做視頻生成，視頻生成的成本還是比較高的。我一直不覺得 sora 是在 agi 的主線中，但 gpt-5 的視頻理解能力會提升。模型變大後，gpt-5 的邏輯推理能力是能有大幅提升的，這個是對解鎖應用最重要的一個關鍵能力。另外是多模態的交互能力變強，其實會把應用打的比較高吧。張小珺：為什麼 gpt-4 和 gpt-5 之間要插一個 gpt-4o？guangmi li：為了降成本，也能省出來很多卡去給到 research。這是一個最簡單的原因。成本下降的速度還是超出我們預期的。張小珺：硅谷大模型公司格局在牌桌上發生了什麼變化？guangmi li：過去半年，硅谷的格局用簡單的一句話說就是 gpu 決定生死線。今年和明年分別對應兩條生死線。今年年內如果模型公司還沒有 3.2 萬卡的集群，那這家公司肯定就不在第一梯隊了。到明年，第一梯隊的門票是 10 萬卡集群，這裡是指 h100，因為 b 系列可能要明年這個時候才能大規模到貨。這是一個明牌，拼資源、拼決心大不大。gpu 資源的競爭也會加速二、三線模型公司出局或者被收購的過程。比如像 character ai、mistral、cohere。elon musk 拿到了最後一張門票，如果 meta 想入局，還是得收購公司。張小珺：中國公司在過去半年的梯隊有變化嗎？他們的生死線是什麼？guangmi li：今天這七八家還挺模糊的，從今天的模型能力上來看其實很難分辨哪家公司一定是最好的。從今天的模型能力上來看，是很難拉開的差距形成斷崖式領先的。目前是交替、都有一些亮點，第一個分水嶺就是哪家公司真正開始 gpt-4 水平的試訓練，擁有 8000 張 h100 量級的集群，但是今天好像還沒開始。張小珺：musk 的 xai 相當於自己給自己造了一張大模型門票？它有什麼差異化嗎？guangmi li：可能存在一種暴力美學，因為 elon musk 公開提到了 xai 就是 bet on 10 萬卡集群，而且是全球第一個，可能今年 8-9 月份上線充分互聯、全液冷的 10 萬卡集群。這意味着一個月可以 train 10 個 gpt-4，迭代速度變快了，並且可以更早訓練下一代模型。我很期待這個超大集群未來能出來哪些新東西。xai 如果比其它模型公司更早 6 個月做出來 10 萬卡集群，那是有彎道超車機會的。elon musk 覺得 gpu 是最重要能決定生死的資源。此外，xai 的團隊還是很強的，可以看看他們未來能不能很快發出來接近 gpt-4、claude-3 水平的模型，我還是比較樂觀。張小珺 ：據你了解大模型公司工作節奏怎麼樣？他們卷不卷？guangmi li：工作節奏是非常卷的。我聽過一個很形象的比喻，大基建很像西部拓荒，openai 內部的狀態就像一個從東向西的火車來開拓美洲大陸，科學家讓火車在高速奔跑， infra 工程師在前面修鐵路，鐵路鋪設和火車行駛是齊頭並進的，你就能感受到這種狀態。很多人說硅谷下午 4-5 點就下班，這個印象不是全對的。做大模型的人都是很卷的，基本的休息時間、運動時間幾乎全沒了，每天都在一個很卷的戰鬥狀態。因為沒解決的問題比解決的問題多，而且新問題也非常多。openai 是最卷的，而且人才密度也確實是最高的。有一個朋友提到連續 5 天平均每天只睡 3 個小時，睡前和醒來就是在 train model。張小珺：整體來看，過去一年你覺得在大模型上中美差距是放大還是縮小了？guangmi li：有一個非共識的觀點是真實差距可能在拉大，而不是表面上看着真的追上了。更準確的說應該是可以局部追上，比如熱門問題的問答，但是國內模型處理長尾的問題其實都還不太行，這個就說明模型的泛化能力還是不夠的。最核心的是今天我們不知道 openai 內部走到多遠了。gpt-4o 到底代表 openai 的幾成功力呢？有可能只佔三成功力。openai 的人才密度很高，也都是非常聰明的人，而且有最領先的模型，也能更早拿到了更大量的 gpu、做更多的探索。只是探索的結果已經不公開了。用 5% 的資源就想真正超過 openai 百分百的投入還是比較難的，除非說第一名成為先驅。人才密度角度上看，openai 的一個人還是能頂其他公司的十個人。sora 團隊可能也就不到 10 個人，別的公司可能幾十個人也不一定能做出來一樣的模型。 外界是希望更早、更快地看到一些新的進展，但模型變大後，需要處理的細節還是很多的。過去 gpt-4 其實是一個技術發展史中的跳躍時刻，那不可能每年都有這種跳躍時刻的，因為大家的預期變高了。不跳躍大家可能就覺得無聊了。然後其中很多細節、各種產品的打磨，需要的工作量還是比較大的。裏面是一個優化打補丁的點，大家都還是基於 python 來做的，只能每次處理一個事情，執行起來其實是不夠 efficient。最近也有人提出基於 c 語言手搓一個大模型，只是說大家還沒有大規模試起來，大家對模型結構的優化做的還是比較多的，只是外界可能沒有談到。guangmi li：國內應該還是小几千張 gpu 做訓練，而硅谷的一線模型應該都是 2-3 萬卡的集群做訓練了，下一階段是 10 萬卡集群。elon musk 還提到自己有 30 萬張 b100，這就對應了 60 萬張 h100。國內可能首先要突破萬張卡和萬億參數 moe 這兩個臨界點，我也不知道未來怎麼去追趕 10 萬卡集群，而且 openai 和微軟的星際之門（stargate），投入 1000 億美金搭建新的超級計算機。如果這件事情真的在發生，不知道怎麼去追趕。張小珺：benchmark 上看國內模型是追上來了。guangmi li：模型評估是很難的，就像評估一個人一樣。benchmark 的題目全是公開的，也都可以圍繞題目做提前的充分訓練。可以理解為這個榜單已經被 hack 掉了。另一方面是蒸餾，國內模型做蒸餾還是比較多、比較凶的，很多人在 distill 頭部模型公司的數據。最終模型的經濟價值還是取決於是否能做任務。國內模型這麼多，其實也挺難說哪家是真的好，今天可能還是模糊的狀態。短期模型能力是不決定勝負的，還是真正看誰先做出 gpt-4 水平的模型。但是做出來 gpt-4 水平的模型又會怎樣呢？下一階段可能會是，哪家公司先能有 3000-5000 萬 dau 的產品佔住心智，留存好、商業模式跑通，這個比較重要。
來源 / tob行業頭條 （id：wwwqifu）
作者 / 頭條 · 編輯 / 頭條
張小珺：接下來我們來聊聊大模型的商業模式和壁壘。大模型是一個好的商業模式嗎？guangmi li：目前肯定沒有廣告平台的商業模式好，訂閱還是一個比較傳統的商業模式。chatgpt 現在是 1 億多的 dau，假設 10% 的付費用戶，那就是 1000 萬付費用戶，訂閱 200 美金一年，總數就是 20 億美金。假如未來能翻幾倍，那相比 google 廣告平台一年 2000 多億美金的營收，也還只是 google 營收的 1%- 2%，是比較小的。廣告平台是一個非常成熟的商業模式，每新增一個用戶，在未來 6- 12 月肯定是能把新增用戶花費的成本賺回來的，這個 roi 是能算得很清楚的。但大模型投入，購買 gpu 的 roi 是沒法計算而且很難分析的。因為這裏面兼具着很多科研屬性，而且失敗率比較高，失敗的成本其實是 gpu 的時間，一張 gpu 運行一個小時的成本假設是 3 美金，那一張卡一個月可能就是 200 多萬美金成本。用不好 gpu 就是在浪費成本。但從另外一個角度思考， gpt-4 當年的訓練成本假設是 2 億美金，openai 已經通過 chatgpt 早就賺回來了這個錢，單看 chatgpt 這個產品好像是盈利性很好的，他們的虧損主要還是在探索新的模型技術上。這就很像葯企的新葯研發，也許 gpt-5 還能發現下一個新葯，也能幫 openai 賺更多的錢，但從全球範圍看，可能也只有 2-3 家模型公司通過賣模型可以把訓練成本賺回來。其實很多模型公司連訓練成本還是賺不回來的。新事物的商業模式總是要慢一些。比如 ai agent 落地後會不會顛覆廣告平台？用戶讓一個 travel agent 幫忙規劃一個意大利的旅行計劃，用戶的精力和注意力是有限的，其實是被迫看了很多廣告。那如果有一個 travel agent，其實就不用看太多廣告了，而是讓 agent 幫忙比價、談價。這對傳統廣告平台是有很大顛覆效應的，傳統的廣告平台是建立在人的注意力和精力是有限的情況下，但未來 agent 是 7* 24 小時工作。包括之前播客提到未來能不能有一個 value-based 的定價，類似於在電商平台賣掉 1 萬塊錢商品要給電商平台付 5 個點左右的抽成。那未來用 chatgpt 的 agent 增加了 1 萬塊錢每月的產出，給 openai 付 500 塊錢， 對應 5% 的抽成好像也合理。而且今天模型的 api 切換成本是不高的，用戶很容易換，也因此很容易產生價格戰，整體來看感覺還不是一個最好的商業模式。張小珺：聽起來最後好的商業模式還是建立在產品和應用上，那會是什麼樣的產品？如果 ai 助手的產品都是幫助用戶節約時間，那它就讓廣告投放天然會變得比較差？guangmi li：是的，任何一個偉大的公司都是建立在極好的商業模式之上的。廣告、類似 apple 這種科技消費品、公有雲平台，都具有規模效應，包括電商平台。ai 公司想成為偉大公司，還是要有極好的商業模式。今天商業模式的 0 到 1，這個 1 我覺得還是沒有跑通的。張小珺：產品角度跑通了嗎？ai 助手是不是一個好的產品形態？guangmi li：不知道，核心還是看是不是足夠聰明。如果足夠聰明，那就相當於 agi 來了。很多商業模式都會從本質上發生變化，廣告平台也發生變化了。guangmi li：壁壘是明牌。第一階段就是 gpu，第一梯隊如果沒有 3.2 萬卡，今年就很難在硅谷坐穩第一梯隊。但其實背後更核心的點，是要具備 30-50 人的核心人才團隊。今天很難再重新 build 一個像 xai 一樣團隊了，因為人才收斂比較快的，最後可能還是一個綜合的壁壘。比如說像好萊塢，有沒有工業體系和成熟的組織方式決定了效率。如果給了卡，也投入很多錢，但最後科研的效率很低，那也很容易掉隊。張小珺：現在很多人開始說 scaling law 不一定是唯一的路徑，或者是錯誤的路徑。你覺得會有不一樣的路徑能走向 agi 嗎？guangmi li：scaling law 是最簡單的路徑了，因為簡單粗暴地懟 gpu 就能通往 agi，如果成功就可以造福人類，失敗也是科技巨頭買單，那其實是應該繼續加大投入的。很多人也在關心另類的架構，其實肯定 openai 是更關心另類架構的，新的架構 openai 應該全都試過了，但至今是沒有發現其他新的、真的 work 的路徑的。如果有，大家肯定就撲上去了。今天還有很多人質疑 transformer ，其實是不是 transformer 也不重要了。最重要的還是什麼架構既能滿足持續的 scaling up、又能具有通用的泛化能力，這兩個能力是 transformer 最大的優勢。但 transformer 今天最大的缺點是 data hungry，其次是 compute hungry，要消耗很多的數據，消耗很多的卡。data 和 compute 效率是頭部模型公司目前在解決的。有可能未來的架構還是以 transformer 一個底座，有本身優秀的特性。上面加一些能讓 data、compute 更 efficient 的新架構。這裡有一個高賠率的問題，是研究怎麼提高 data 和 compute 效率的問題，讓小樣本數據也能取得很好的效果。比如教一個小學生解方程，可能教個幾十次慢慢就能教會了。但是今天要教給模型，可能要教幾萬次。隨着模型能力變強，可能未來幾百個也就夠了，甚至說模型能力更強了之後可能教他兩三個就夠了，這就是一個數據的效率吧。其實在模型架構角度，像 openai、anthropic 其實對 transformer 的動刀幅度已經很大了，比如馬車早已經沒有了馬，已經變得四不像了。其次也要看大家對 agi 的預期。ai 並不完全需要像人，人機互補是更重要的。比如 ai 很擅長數據吞吐量特別大的工作，可以並行讀取、加工很多的數據。而且 ai 比人更擅長學習，能從大量的數據中找到最大公約數。今天 ai 數據量小的時候是不如人的，但 ai 也有更擅長，比如它可以 7* 24 小時工作、提供經濟價值。如果邏輯推理能力提升之後還可以 7* 24 小時幫用戶去執行推理的工作。只要能創造經濟價值就好了，不一定需要完全 follow 人的工作，馬車也沒有馬，就是輪子，效率也比較高。agi 即便無法實現，下限也是非常高的。aigc 在數據量很大、套路很多的領域是更有優勢的， ai 提供了智能的勞動力，人是智能的創造力。基於 scaling law 讓模型變大其實主要是在探索智能的邊界，並不是模型一定要保持一直很大的狀態。未來人們把模型變小、進行大規模商用的速度也會是很快的，是一個時間和工程的問題。張小珺：在大模型的應用側，除了 ai 軟件，其實還有通用機械人和無人駕駛，你怎麼看待這兩條腿的落地？guangmi li：通用機械人的大腦未來就是多模態大模型的底座，再加一些針對機械人數據的 fine tuning，我覺得是不存在獨立的機械人大腦模型的，其中有一個難點是怎麼從大腦的智能規劃能力轉化為控制信號，這是未來需要大規模鋪設設備基礎上才能繼續做的。硅谷的通用機械人公司，除了 tesla 外，都不具備製造硬件本體的能力，硬件大概率還是中國公司的機會。控制部分比較難，中國的供應鏈優勢還是非常強的。還有個點比較有趣的是今天想做通用機械人的公司還沒有一家能定義出來一個真正好的場景的，所以大家就只能先把通用機械人開發出來，就像當時個人電腦開發的過程一樣。大家也不知道怎麼用，最後大家發現 pc 的第一個場景是報稅，於是企業內部報稅先用起來了。所以有可能通用機械人明年可以大規模的做出來讓大家去試，有可能餐廳老闆我能用把機械人起來，或者酒店老闆說我能用起來，到最後就是大家去試場景的過程。guangmi li：自動駕駛更快。tesla 團隊是比較自信的，覺得可能 2 年內可以結束戰鬥，通用機械人可能還需要 5 年。因為自動駕駛是一個限定領域，總共有幾個 action：往前走、剎車、左轉、右轉。但通用機械人的目標還沒有定義清楚。而且無人駕駛領域 scaling law 和成長速度還是比較快的，也比較期待接下來 8 月 8 日 tesla robotaxi 的發佈，可以看看到時候還有沒有方向盤，如果沒有方向盤那是真的比較自信了。張小珺：fsd 這一年有什麼進展？兩年內結束戰鬥能結束到什麼程度？guangmi li：從 palo alto 開車到三藩基本不用碰方向盤了，甚至不用碰方向盤了。這已經是一個挺大的進步了，fsd 的安全性已經比人要高很多了。fsd 的終局可能是tesla 一部分車型可以沒有方向盤了，這樣的話它就可以重新定義「車」這個產品了。
來源 / tob行業頭條 （id：wwwqifu）
作者 / 頭條 · 編輯 / 頭條
張小珺：我們接下來聊聊過去半年巨頭都發生了什麼。openai 變化也很大，ilya 離開了，也造成了一個小的 openai 離職潮，這種離職風波對這家公司影響大嗎？可以先講講怎麼看 ilya 的離開？他的離開對於 openai 的影響大不大？guangmi li：有兩派觀點，一派是認為 ilya 過去幾年貢獻不是很突出，另外一派認為 ilya 的 research taste 非常好，講的都是未來三五年決定性的事情。我感覺 ilya 的離開對於 openai 幾乎沒有任何影響，openai 最核心 100-200 人是沒有變化的。其他的公司像 xai、anthropic，或者其他模型公司想挖人幾乎是挖不動 openai 最核心的人的。新加入的人主要還是圍繞產品、商業、安全這些方面。最核心的底子是非常穩且非常強的。張小珺：最近 apple 舉辦了發佈會，大家的關注度比較高。你怎麼看 apple 這次的發佈？guangmi li：apple 還是很穩的，未來三年手機可能還是人們最方便、最可信的設備。今天好像看不到哪個設備真的能夠替代手機。之前出現了很多 ai 消費設備，但更多還是一個補充。對蘋果最重要的一個判斷是 ai 的 feature 能不能帶來手機的換機潮？這個是對 apple 商業上最重要的一個判斷。其次是能夠加上什麼樣的新 feature？比如內存很大、端側模型能力足夠強，能夠刺激用戶願意買一個新的手機，或者 siri 真的變得極其聰明了、有其他的 features 出現，促使用戶去買一個新的手機才是一個更大的變化。硅谷的科技巨頭股價都已經漲了那麼多，真的要挑一個能用媽媽養老的錢買的公司股票，我可能還是願意買 apple，雖然估值也不便宜。張小珺：為什麼 apple 這次發佈會以後股價大漲了 7 個點？guangmi li：因為大家發現 openai 沒有顛覆巨頭，並且最後都要求着巨頭。guangmi li：google 的模型進展好像是不是很樂觀。從 gemini 1.5 之後大幅的提升是沒有的。google 的流量優勢還是很強的，但好像模型還是差一點意思。不知道具體原因是什麼。guangmi li：英偉達現在 3 個 t 的市值和股價已經提前 price-in 了未來一年半到兩年的預期。大家對英偉達的股價爭議還是比較大的。其實今天從股價角度討論英偉達已經超出了可分析性，有特別多人對英偉達極其有信仰，其實越來越多人今天討論英偉達和 2021 年討論比特幣一樣，都在討論信仰。但確實從實際角度來講，英偉達沒有競爭對手。全球範圍的模型公司 train 模型，除了 google 用自己的 tpu train model 以外，幾乎所有人都是用 gpu 來 train llm 大模型。未來兩三年的競爭格局也是極其穩的，不太會有新的公司，完全顛覆英偉達了。但是 ai 的變化是很快的，敘事上變化也是很快的，可能會影響大家對它的預期。長期英偉達肯定還是極其重要的公司，是整個 agi 基建中最關鍵的一個要素。就像 elon musk 說的 gpu 定生死，英偉達還是一個最重要的角色。guangmi li：我們之前有一個感覺是模型 to 企業側最大的客戶是雲平台，因為雲與企業建立了最深的信任。先前也有說法是在大模型上花一塊錢，就會在雲上帶來 5 塊錢的營收。我們一直想把這個假設調研清楚，但是一直沒有找到太多的 facts。企業除了測試以外，在 cloud spending 層面還沒有大規模的新東西出來，因此可能還是需要花一些時間。但是雲還是很穩的，很多企業客戶不是直接調用 gpt、claude 的 api，而是調雲廠商的 api。因為雲更穩定，可信度更高。azure 之前的聲音很大，但比較下來 aws 的技術積累與客戶積累還是很 solid 的。guangmi li：llama 3 400b 的模型一直還沒有發出來，據說是內部還沒搞清楚 moe 怎麼做。meta 好像一直在 train，train 到一個好的結果再發出來。這個模型不一定會開源了，因為這麼大的模型如果再開源，很多人是用不起來的，而且成本比較高，是一個 400b 的 dense model。guangmi li：首先，copilot 距離先前的預期還是要差一些。我印象最深的還是微軟和 openai 提出了星際之門，投入 1000 億美金造一個最大的超級計算機，具體會怎麼實施，以及到底能帶來什麼樣的突破，這兩點會是最有意思的。guangmi li：ev 的銷售競爭是很激烈的，所以車本身是很被動的。fsd 每隔幾個月就有一個大幅提升， xai 未來一段時間可能有很多間接的技術助力。我感覺 fsd 的進度可能是比 agi 要更快的。今天對特斯拉一個比較大的爭議是特斯拉到底是一個車的公司還是一個 ai 的公司？但目前 ai 的 revenue 還是沒有的。如果是作為車企的話那可能就是一個比較低的估值。ai 怎麼體現出來是比較重要的，而且 100 美金每個月的 fsd 定價是比較高的，如果說 fsd 免費了，或者說通過車險來間接付費，可能會是一個更好的做法。因為 fsd 對車險未來的衝擊還是比較大。guangmi li：全球 100% 的 h100 都是台積電參與生產，這個公司的重要性是極強的，因為過去卷了雲端的數據中心，下一步又要卷手機上的芯片， apple 還是台積電的最大客戶。所以感覺這麼大體量了每年還能有 50%的增速是極其厲害的。台積電未來幾年也是不可替代的。其實我們聊的這幾個大的公司，潛在都還是受益的。拿着這幾個大的公司做一個 passive 的指數，是能跑贏很多其他產品的，反而這一波是強者恆強的局面。ai 公司並沒有真的顛覆大的公司，而且是依附於大公司。張小珺：今天的 ai 公司都活在巨頭的陰影下，這是為什麼？guangmi li：第一，太燒錢了。第二， ai 的能力還是一個小學生、初中生的水平，還需要時間慢慢長大，還要大公司給錢繼續再養着，估計還得養一段時間。創業公司和大公司不是顛覆關係，而是依賴關係。第一，ai 公司還是太花錢了。第二，巨頭的卡位太好。今天 openai 是沒法撒開腿跑的，因為它逃離不了幾個科技巨頭的覆蓋。gpu 受限於英偉達，如果英偉達不提前給 openai 卡，或者說英偉達給第二名、第三名模型公司卡，那 openai 也會卡不足。gpu 的集群的搭建是受限於微軟的，微軟還是 49% 的大股東，金主，微軟的 azure 是 gpt 觸達企業客戶最重要的一個渠道。c端還是逃離不了蘋果，最後還要求着蘋果集成 chatgpt。蘋果其實還是可以分分鐘換掉 chatgpt 的，所以 openai 如果真的顛覆，目前也只能挑戰一下。guangmi li：我覺得是變難了。現階段面對的很多問題是科學問題，不是一個可分析的數學問題或數字問題。如果今天投大模型，依然是兩條標準，第一，這個公司是不是一個做 agi 的團隊？是不是真的奔着 agi 在前進、 有 vision，也有團隊基礎？第二，有沒有大腿支持做 agi。模型公司每年要買 10- 20 萬張卡，要幾個 billion 的投入。背後是有一個巨大、長期的資源支持問題，這個是非常重要的。agi 競賽的正賽還沒有正式開始，大事還沒有發生。比如很多人提 rag，幾十家公司在做 rag 這個方向，其實今天還是很難分析哪一家公司一定能跑出來，因為應用還沒有大爆發。那今天的 rag 產品還沒有經歷過大的考驗，經歷過大的考驗後殺出來的公司才是比較重要的。guangmi li：有人說 rag 是階段性需求，因為企業內有很多樣的各種信息要檢索， llm 只用通用的東西是回答不了的，所以需要有檢索增強，把企業內的各種知識能檢索、排序理解得比較好。因為沒落地，那就要一個 rag 的產品來幫它，但發現加了 rag 之後，首先今天還沒有太多人能做好 rag，第二，做好了之後依然還沒有弄好。rag 做得最好的還是 perplexity 里，它是檢索網頁檢索的最好的。張小珺：rag 的核心難點是什麼？perplexity 為什麼做得好？guangmi li：rag 是一個工程問題，有十幾個環節都要優化。一個公司優化好一個環節比較容易，但是要優化好 10 個環節其實是很難的。張小珺：對比下來你看美國和國內這兩邊的創新生態在 ai 上有什麼差異？guangmi li：硅谷 0 到 1 還是比較多的，而中國的創業者 1 到 100 非常多。這是一個非常明顯的體感差異，背後是資本的充裕程度。硅谷長期能 0 到 1 創新挺重要的背後是容忍了非常多的失敗。即使有人失敗了後，他的公司依然還能被收購、還能退出。硅谷的收購環境也比較好，感覺硅谷還是一個創新的溫室，很多人可以異想天開，因為有比較充足的 vc 資本支持 0 到 1 的創新。國內 1 到 100 更多，這裏面會導致一個問題：技術辨識度還是比較低，而且創業的玩家比較多。內卷有很大的原因是技術辨識度比較低，比如今天沒有公司與 spacex 競爭，甚至說今天要買一個無人機，人們不知道大疆的第二名是誰？大疆是有技術辨識度的。我是期待更多的 0 到 1 創新的，創業者能提出一些更不一樣的，也需要更多長期的風險資本的支持。張小珺：最後我們來做一個展望， 2024 年下半年你會更願意把時間花在哪裡、會重點關注哪些問題？guangmi li：第一是關於成本下降，因為這是一個高度確定的事情，那我希望圍繞成本下降速度提升，哪些應用原本不 work，最後 work 了，這是值得期待的。第二個比較期待端側，手機上能加哪些新的東西，尤其是國產手機，包括新的消費設備，可能是對手機一個很好的補充，比如像 meta 眼鏡可能就是一個多模態的入口，與手機有一個更好的輔助，那端側可能會出來很多東西。第三是通用機械人，通用機械人需要的時間會很長，但是會很有意思，因為多模態模型在進步。中國創業者的機會還是很多的。