2024-03-21 インサイト

LeCun の観察#

朝、LeCun と Lex の対話を振り返りました。LeCun は確固たる自己回帰モデルの否定者であり、そのようなモデルには十分な知性がないと考えています。今日聞いた中で最も洞察に富む観察は、計算能力に関するものであり、LLM はどの問題に対しても同じ計算能力を提供するということです。これはプランニングのない表現です。困難な問題や簡単な問題に直面した場合、人間は難易度に応じて異なる程度の知力を注ぎ込んで回答をします。

しかし、自己回帰モデルにとっては、どの問題に対しても回答するために必要な計算能力は同じです。これは、現在の LLM の知能がより反射的で原始的な知能であり、問題を深く理解する能力がないことを示しています。

では、なぜ現在の LLM は問題に対して非常に優れた回答をするように見えるのでしょうか？この問題に対する私の観察は、LLM が大規模なテキストで訓練されているため、問題を理解しているように見えることが非常に簡単だからです。しかし、人間の意識的な理解には、言語で表現するのが難しいほどのさらに多くの隠れた情報があります。この問題については、後でゆっくりと議論するかもしれません。

この観点を検証するための観察の一つは、LeCun が言及した LLM のアプリケーションにおけるロングテール効果です。つまり、テストや研究では非常に賢く見える LLM は、よく尋ねられる質問の 90％については適切な回答を提供できるように微調整されているかもしれません。しかし、訓練中に予想できなかった 10％の質問をする人々がいるため、この小さなテールは非常に長くなります。このような分布外の問題は、LLM アプリケーションが直面する多くの困難を生み出します。

もちろん、私はこの問題が長く存在するとは思いません。多くの人々が推論と計画の方向で研究を行っており、数年以内にこの領域は大きく進歩すると信じています。

チャージと質問#

マー・チェンツーは数ヶ月ぶりに新しい道を探し始め、彼の知識の星を開きました。私は常に国内の自己メディアや新しいメディアが定期的な収益源を読者から得るための安定した方法（ニューヨーク・タイムズなど）を欠いていると感じています。それは間接的な広告に頼って現金流を維持する方法に依存しており、より多くの制約を受けています。文化管理環境については言及するまい。

したがって、マー・チェンツーが知識の星を開くような購読制のプライベート領域を持つことを、私は最初の時間から支持しました。もちろん、チャージは単なるお金を使うことではありません。毎月質問する機会も得られます。マー・チェンツーがドイツの経済についての評価を共有します。

ちょうど 10 年前、友人がヨーロッパを旅行し、彼の見聞を話してくれました... ドイツには繁栄している小さな町があり、その繁栄の前提条件は自動車産業の供給チェーンの中で重要な役割を果たしていることです。これらの小さな町の生活の雰囲気は、80 年代の中国の国営企業の生活地区のようで、平和で幸福であり、若者がまともな大学に入れない場合でも、祖先の技術を学ぶことを期待することができ、地元の技術労働者として「類似した」後継者の方法で働くことができます。

私は当時、自分の生活経験に基づいて答えました。老国営企業の生活地区のような場所では、良い日々は一世代だけです。なぜなら、世界中には多くの努力家の若者がおり、他人の平穏な時を手に入れ、自分自身が産業の階段を登るための踏み台になりたいと思っているからです。80 年代の国営企業の生活地区のような場所であるということは、彼らが大規模な解雇から 15 年程度の時間しか離れていないことを意味します。

私の判断とも非常に似ています。ドイツの未来については、私は彼が後発国家である中国などとの競争を免れることはできないと考えています。平穏な時が長すぎると、将来はないと恐れます。完全な回答には他の部分もありますが、少し無駄話がありすぎると感じ、彼の回答を手打ちするのはあまりしたくありません。興味のある方は、彼の知識の星球に参加して自分で確認してください。

その他#

オフィスの外では、冬の間ずっと裸の木が新芽を出し始めました。近くで見ると、緑の芽ではなく、黄緑色の小さな花があり、その間にはミツバチが飛び交っていて、とても美しい光景です。
Scientific American の中国運営からのニュースのまとめによると、マスクの脳 - コンピューターインターフェースの被験者は、『シヴィライゼーション 6』を朝までプレイしたと述べており、最大の欠点は充電が必要だと言っています。これは少し面白いですね。ただし、Brainlink はまだ複雑な運動を制御することはできないため、少なくともゲームの欲求を満たすことは妥当な要求ですよね、私もやりたいです。
同じまとめには、自来水で鼻を洗うとアカンサモーバ（Acanthamoeba）に感染する可能性があるという情報もあります。生存率はわずか 7％以下です。この問題はアメリカで起こったことですが、私にとっても警鐘を鳴らしました。少し怖いですが、明日は新しい浄水器のフィルターを買いに行きます。

また、一匹の小さなブタが私がデイリーインサイトで彼女に触れていないことに非常に不満を抱いており、私と一緒に世界一の友達になりたいと言っています。それはできません。ただし、デイリーインサイトでプライバシーに触れることは適切ではないと考えているため、ここで後注を追加するだけです〜彼女を忘れているわけではありませんことを示すために。