补了一点 openai の発表会
いくつかの感慨があります。モデルのスケールを拡大するために必死になっている今日、アルゴリズムエンジニアの職業はますます厳しいものになっています。
ML/DL の専門化はますます高まっており、MLops にはアルゴリズムエンジニアは必要ありません。モデルの推論の高速化やデプロイメントにもアルゴリズムエンジニアは必要ありません。推論エンジン、トレーニングフレームワーク、およびその他の基盤の開発にもアルゴリズムエンジニアは必要ありません。
アルゴリズムエンジニアは、前述の専門職が提供する API を呼び出すだけで十分です。ほとんどのアルゴリズムエンジニアは研究の負担を背負っていないし、少数のアルゴリズムエンジニアが作成した API の一部を呼び出すだけです。
深層学習のアルゴリズムエンジニアが「大前端」となるとは誰も予想できなかったでしょう。
確かに、この傾向は Transformer が NLP 分野を席巻することから始まりました。その後、汎用モデルがドメイン固有のモデルを凌駕することがわかりました。この汎用モデルは、CV やマルチモーダルでも専用モデルよりも優れたパフォーマンスを発揮しています。大規模モデルがモデルのトレーニングコストを一般のユーザーが手に入れるのが難しいレベルまで引き上げた結果、市場の製品はますます同質化しています。深層学習のアルゴリズムエンジニアは、特定のアプリケーション領域にアタッチされていない限り、自分の能力を活かす機会がほとんどなく、独自の競争力を持つことは難しいです。