LeCun 的觀察#
早上繼續回顧 LeCun 和 Lex 的對話。LeCun 是一個堅定的 autoregressive model 唱衰者，認為這樣的模型沒有足夠的智力。今天聽到的最有 insight 的觀察來自於算力 — LLM 對於任何問題都提供相同的算力，這是一種沒有 planning 的表現。因為面對困難的問題或者簡單的問題，人類會根據難易程度，倾注不同程度的腦力來做回答。
但對於 autoregressive 的模型，它回答任何問題每一個字消耗的算力都是一樣的，這揭示的是，現有 LLM 的智能，是一種更 reflective，primitive 的智能，並沒有深度理解問題的能力。
那為什麼現在的 LLM 看起來回答問題這麼厲害？對這個問題我的觀察是，因為 LLM 是在大規模的文本上做訓練，所以它非常容易看起來理解了問題，給人們一種它理解了的錯覺。但人類意識上的理解，往往有著更多隱藏的信息，那些人們甚至很難用語言來描述的信息。這個問題我之後可能會慢慢討論。
驗證這個觀點的一個觀察則是 LeCun 提到的現在在 LLM 應用中的長尾效應 (Longtail effect)，即在測試和研究中看起來很聰明的 LLM，它可能已經在 90% 的，人們經常問的問題上做好了微調，可以提供合適的回答。但就是會有人問 10% 那些在訓練中想不到的問題，而這個小小的尾巴其實非常長，這種 out of distribution 創造了很多 LLM 應用中面對的困難。
當然這個問題我覺得並不會存在太久，很多人都在 reasoning 和 planning 的方向做研究，相信幾年之內這個方向就會有長足的進步。
充值和提問#
馬前卒在被封了幾個月之後開始找新路子了，開了他的知識星球。我一直覺得國內的自媒體和新媒體缺乏訂閱制的土壤，沒有像紐約時報之類體穩定的從讀者獲得經濟來源的方法，依靠的是間接的接廣告的方式來維持現金流，所以更加受制於人。更不要說現在的文化管理環境了。
所以馬前卒開知識星球這樣的訂閱制私域，我還是第一時間支持了。當然充值也不是純粹的花錢，也獲得的每個月提問的機會。分享一下馬前卒對於德國經濟的評價。
恰好十年前，有一位朋友遊歷歐洲，給我講了講他的見聞 … 德國有一批繁榮的小城市，繁榮的前提是在汽車產業鏈裡面佔據一個關鍵環節。這些小城市的生活氣氛，像是 80 年代中國國企的生活區，安樂祥和，年輕人如果考不上像樣的大學，可以期待學習祖輩的手藝，以 “類似” 接班的方式，在本地當技術工人。
我當時以自己的生活經歷回答，說凡事像老國企生活區的地方，好日子就只剩下一代人了。因為世界上努力的年輕人太多了，都想拿別人的歲月靜好，當自己攀爬產業階梯的墊腳石。如果像八十年代國企生活區，說明他們距離大下崗也就 15 年左右的時間。
和我的判斷也很類似。在德國未來這件事情上，我覺得他並不能免於和中國這樣的後發國家的競爭。如果歲月靜好太久，恐怕是沒有什麼前途的。完整的回答還有其他部分，但是我覺得有點扯淡，而且不想手打太多他的回答，感興趣的朋友自己去加入他的知識星球吧。
雜#
- 辦公室外，光禿禿了一整個冬天的樹開始冒綠芽了。湊近一看卻不是綠芽，而是黃綠色的小花，花間還有蜜蜂飛來飛去，看起來十分喜人。
- 來自環球科學 (Scientific American 的中國運營) 的 新聞匯總，馬斯克腦機接口的受試者說玩《文明 6》玩到淩晨 6 點，最大缺點是需要充電。這多少是有點搞笑了。不過 Brainlink 還不能操控身體做複雜運動，那至少滿足一下遊戲瘾也是正當需求嘛，換我我也想。
- 另外同一篇匯總裡面提到用自來水洗鼻子可能感染棘阿米巴（Acanthamoeba），存活率不到百分之七。雖然這個事情是在美國發生的，但也給我敲了警鐘，確實有點嚇人，明天就去買新的過濾壺過濾。
另外有一位小豬對我在 daily insight 中沒有提她非常不滿，要不跟我天下第一好。這可不行。但我還是覺得在 daily insight 中談及隱私是不合適的，所以只是在這裡後註以下～以表示我不是心裡沒有她。