ChatGPT には AI 開発を遅らせる可能性のある莫大な隠れたコストが存在します

Apr 29, 2023

AI チャットボットには問題があります。チャットするたびに損失が発生します。

ChatGPT や Bard などのツールを支える今日の大規模な言語モデルの実行には莫大なコストがかかり、その品質が制限され、それらが引き起こした世界的な AI ブームが減速する恐れがあります。

チャットボットの費用と、チャットボットに必要なコンピュータチップの入手可能性が限られていることも、チャットボットを運用できる企業を制限しており、世界で最も裕福な企業であっても、準備が整うよりも早くチャットボットを金儲けに変えるよう圧力をかけている。

メリーランド大学のコンピューターサイエンス教授であるトム・ゴールドスタイン氏は、「現在導入されているモデルは、一見素晴らしいように見えても、実際には入手可能な最高のモデルではない」と述べた。 「その結果、目にするモデルには多くの弱点があることになる」が、コストを気にしなければ回避できるかもしれない――偏った結果やあからさまな虚偽を吐き出す傾向など。

ChatGPT が実在の人物について嘘をついた場合はどうなりますか?

AIに将来を賭けているハイテク大手は、テクノロジーのコストについてほとんど議論しない。 OpenAI（ChatGPTの開発者）、Microsoft、Googleはいずれもコメントを拒否した。 しかし専門家らは、生成型AIがあらゆる業界に浸透し、人員を削減し、効率を高めるというビッグテックのビジョンにとって、これが最も明白な障害であると述べている。

AI には集中的なコンピューティングが必要であるため、OpenAI はその強力な新しい言語モデルである GPT-4 を、ChatGPT の無料版から差し控え、依然として弱い GPT-3.5 モデルを実行しています。 ChatGPT の基礎となるデータセットは 2021 年 9 月に最後に更新されたため、最近の出来事を調査したり議論したりするのには役に立ちません。 また、GPT-4 に月額 20 ドルを支払っている人でも、実行コストが非常に高いため、3 時間ごとに 25 メッセージしか送信できません。 (反応もかなり遅くなります。)

こうしたコストも、Google が毎日数十億のクエリを処理する同社の主力検索エンジンに AI チャットボットをまだ組み込んでいない理由の 1 つである可能性があります。 Google が 3 月に Bard チャットボットをリリースしたとき、同社は最大の言語モデルを使用しないことを選択しました。 半導体調査会社セミアナリシスの首席アナリスト、ディラン・パテル氏は、ChatGPTを使った1回のチャットに、単純なGoogle検索の最大1000倍の費用がかかる可能性があると見積もった。

人工知能に関する最近の報告書の中で、バイデン政権は生成型AIの計算コストが国家的懸念事項であると指摘した。 ホワイトハウスは、この技術により「計算需要とそれに伴う環境への影響が大幅に増加」すると予想され、より持続可能なシステムを設計することが「緊急の必要性」があると述べた。

他の形式の機械学習よりも、生成 AI は、目もくらむような量の計算能力と、最も裕福な企業のみが購入できる GPU として知られる特殊なコンピューター チップを必要とします。 これらのチップへのアクセスをめぐる激化する戦いは、大手プロバイダーをそれ自体でテクノロジー巨人に押し上げ、テクノロジー業界で最も貴重な資産となったものの鍵を彼らに与えた。

Nvidia が突然世界で最も価値のある企業の 1 つになった理由

シリコンバレーは、オンライン検索、電子メール、ソーシャルメディアなどのサービスを世界に無料で提供することでインターネット経済を支配するようになり、当初は損失を出しましたが、最終的にはパーソナライズされた広告で巨額の利益を生み出しました。 そして、広告はおそらく AI チャットボットに登場するでしょう。 しかしアナリストらは、広告だけではおそらくすぐに最先端のAIツールを利益を上げるのに十分ではないと述べている。

その一方で、消費者向けに AI モデルを提供する企業は、市場シェアを獲得したいという願望と、積み上げている経済的損失のバランスを取る必要があります。

また、より信頼性の高い AI の探求は、モデルを実行するために必要なハードウェアを所有するチップメーカーとともに、すでにデジタル空間の多くを支配しているチップメーカーやクラウドコンピューティング大手に主に利益をもたらす可能性が高い。

主要な AI 言語モデルを構築している企業が、Google や Microsoft のように最大手のクラウド コンピューティング プロバイダーであるか、OpenAI が Microsoft と行っているように緊密なパートナーシップを結んでいるのは偶然ではありません。 オープンソースAI企業ハギング・フェイスの最高経営責任者（CEO）クレム・デラング氏は、こうした企業のAIツールを購入する企業は、現在支払っている金額よりもはるかに高額な補助金付きのサービスに縛られていることに気づいていないという。

OpenAI CEOのサム・アルトマン氏は、先月の上院公聴会でこの問題を間接的に認めたが、ジョン・オソフ上院議員（民主党、ジョージア州）は、もしOpenAIが子供たちに害を及ぼす方法でChatGPTを中毒性のあるものにしようとするのであれば、議会は「非常に厳しい目を向けるだろう」と警告した。 「その上で。 アルトマン氏は、オソフ氏は心配する必要はないと述べ、「われわれはエンゲージメントを最大化しないシステムを設計しようとしている。実際、GPUが非常に不足しており、われわれの製品を使う人が少なければ少ないほど良いのである」と語った。

AI 言語モデルの費用は、その開発とトレーニングから始まり、言語のパターンを識別するために膨大な量のデータとソフトウェアが必要になります。 AI企業は通常、プロスポーツ選手の給与に匹敵するようなスター研究者を雇用している。 これは、独自のモデルを構築したい企業にとって最初の障壁となるが、OpenAI の卒業生が Google からの資金援助を受けて設立した Anthropic AI など、資金豊富な新興企業がいくつか成功している。

次に、ChatGPT、Microsoft の Bing、Anthropic の Claude などのチャットボットへの各クエリがデータ センターにルーティングされ、そこでスーパーコンピューターがモデルを高速に処理し、同時に多数の高速計算を実行します。まず、ユーザーのプロンプトを解釈し、次にユーザーのプロンプトを予測します。最も妥当性のある応答は、一度に 1 つの「トークン」、つまり 4 文字のシーケンスです。

この種の計算能力には GPU (グラフィックス プロセッシング ユニット) が必要です。GPU は最初はビデオ ゲーム用に作られましたが、大規模な言語モデルなどの重いコンピューター タスクを処理できる唯一のチップであることが判明しました。 現在、最高のものを販売しているのは Nvidia 社 1 社だけで、その価格は数万ドルです。 Nvidiaの評価額は最近、予想される売上高から1兆ドルにまで急上昇した。 これらのチップの多くを製造する台湾に本拠を置く企業TSMCの価値も同様に急騰している。

「現時点で GPU を入手するのは、麻薬よりもかなり難しい」と、最近自身の AI スタートアップのために約 10,000 個の GPU を購入したイーロン・マスク氏は、5 月 23 日のウォール ストリート ジャーナル サミットで語った。

こうしたコンピューティング要件は、OpenAI が設立目的の非営利団体ではなくなった理由を説明するのにも役立ちます。

「経済的利益を生み出す必要性に制約されず、人類全体に最も利益をもたらす可能性が最も高い方法で」AIを開発するという明言された使命を掲げて2015年にスタートしたが、2019年までに投資家を惹きつけるために営利モデルに切り替えた。その中には、10億ドルを投じてOpenAIの独占的なコンピューティングプロバイダーとなったMicrosoftも含まれる。 (その後、Microsoft はさらに 100 億ドルを注ぎ込み、OpenAI のテクノロジーを Bing、Windows、その他の製品と統合しました。)

ChatGPT のようなチャットボットの実行コストが正確にどれくらいになるかは、企業がチャットボットの効率化に努めているため、変動する目標となっています。

ローンチから間もない12月、アルトマン氏はChatGPTのコストを「おそらくチャットあたり一桁セント」と見積もった。 アナリストの推定によると、1 日当たりのユーザー数を 1,000 万人以上に増やすまでは、これは大したことではないように聞こえるかもしれません。 SemiAnalysis は 2 月、当時のデフォルト モデルである GPT-3.5 を実行するために必要な処理に基づいて、ChatGPT のコンピューティング コストだけで OpenAI に 1 日あたり約 70 万ドルのコストがかかっていたと計算しました。

これらのコンピューティング コストに、Microsoft の Bing 検索エンジンを使用する 1 日あたり 1 億人、または Google を使用すると伝えられる 10 億人以上のコストを掛け合わせると、ハイテク大手が最良の AI モデルを一般に公開することに消極的である理由がわかり始めます。 。

新型Bingは「ものを感じたり考えたりできる」と記者に語った

「これは、生成型 AI、経済、環境の民主化や広範な可用性にとって持続可能な方程式ではありません」と、より効率的な AI 用チップの開発に取り組んでいる新興企業 d-Matrix の創設者兼 CEO のシド・シェス氏は述べています。

Googleは2月にBardを発表した際、当初は同社のLaMDA言語モデルの「軽量」バージョンで実行する予定だと述べたが、その理由は「必要な計算能力が大幅に削減され、より多くのユーザーに対応できるようになる」からだという。 言い換えれば、Google のような裕福な企業でさえ、その最も強力な AI テクノロジーを無料のチャットボットに導入するという費用を賄う準備ができていなかったということです。

視点: Google の新しい AI が正しいこと、間違っていること、そして奇妙なこと。

コスト削減は大きな犠牲となった。バード社は立ち上げデモで基本的な事実につまずき、グーグル株の価値から1000億ドルをもぎ取った。 一方、Bing は早い段階で軌道に乗らなかったため、Microsoft はその性格と、特定の会話でユーザーが尋ねることができる質問の数の両方を縮小することになりました。

「幻覚」とも呼ばれるこのようなエラーは、個人と企業の両方が AI 言語モデルへの依存を強めているため、AI 言語モデルに関する大きな懸念事項となっています。 専門家らは、これらはモデルの基本設計の関数であり、真実の記述ではなく、可能性の高い単語のシーケンスを生成するように構築されていると述べています。

Sparrow と呼ばれる別の Google チャットボットは、虚偽を減らすことを目的として、インターネットを検索して情報源を引用できるように、同社の子会社 DeepMind によって設計されました。 しかしGoogleは今のところそれをリリースしていない。

ChatGPTは「幻覚を起こす」。 研究者の中には、これは修正できないのではないかと心配する人もいます。

その一方で、大手企業はそれぞれ、AI言語モデルを安価にする方法を競い合っている。

OpenAI の新しい軽量 GPT-3.5 Turbo モデルでのクエリの実行コストは、最上位の GPT-4 の 10 分の 1 以下です。 Googleは、d-Matrixのような新興企業と同様に、Nvidiaのものより効率的であると主張する独自のAIチップを製造している。 そして、多くの新興企業が、Meta の LLaMA などのオープンソース言語モデルをベースに構築しているため、OpenAI や Google にお金を払って使用する必要がありません。ただし、これらのモデルのパフォーマンスはまだそれほど高くなく、ガードレールが不足している可能性もあります。虐待を防ぐため。

メリーランド州のゴールドスタイン氏は、小型で安価なモデルの推進は業界の突然の逆転を示していると述べた。

「私たちは過去 4 年間、できる限り最大のモデルを作ろうとすることだけに費やしました」と彼は言いました。 しかし、そのときの目標は研究論文を出版することであり、AI チャットボットを一般にリリースすることではありませんでした。 「ここ数か月のうちに、コミュニティでは完全な好転が起こり、突然誰もがコストを抑えるために可能な限り最小のモデルを構築しようとしています。」

消費者にとって、これは、強力な汎用 AI モデルに自由にアクセスできる時代がもう終わりであることを意味する可能性があります。

Microsoftはすでに、AIを活用したBingの結果に広告を組み込む実験を行っている。 上院公聴会で、OpenAIのアルトマン氏は同じことを行う可能性を排除しなかったが、有料のサブスクリプションモデルを好むと述べた。

両社は、経済状況は最終的には解消すると確信していると述べている。 アルトマン氏は2月にテクノロジーブログStratecheryに対し、「ここには非常に多くの価値がある。レジの鳴らし方が分からないなんて私には信じられない」と語った。

しかし批評家たちは、生成 AI には社会へのコストも伴うと指摘しています。

タフツ大学フレッチャースクールのグローバルビジネス学部長バスカー・チャクラヴォルティ氏は、「こうした処理はすべて温室効果ガス排出に影響を与える」と述べた。 コンピューティングには、AI 言語モデルほど流行していない他のコンピューティング タスクなど、他の目的に使用できるエネルギーが必要です。 これにより、「ヘルスケア、創薬、がん検出など、他のより有意義な用途へのAIの開発と応用が遅れる可能性さえある」とチャクラヴォルティ氏は述べた。

ChatGPT の使用量とコンピューティング ニーズの推定に基づいて、データ サイエンティストの Kasper Groes Albin Ludvigsen 氏は、1 月に ChatGPT が使用した電力量は 175,000 人に相当すると推定しました。これは中規模都市に相当します。

ゴールドスタイン氏によると、今のところハイテク大手は自社のAIチャットボットで市場シェアを獲得するために損失を厭わないという。 しかし、利益を上げることができなかったらどうでしょうか？ 「最終的には誇大広告の曲線の終わりに達しますが、その時点で投資家が注目するのは収益だけです。」

それでも、ゴールドスタイン氏は、多くの人々や企業は、たとえ欠陥があったとしても、生成 AI ツールに抵抗するのは難しいと感じるだろうと予測しました。 「たとえ高価ではあったとしても、人間の労働力よりははるかに安いのです」と彼は言う。

Nitasha Tiku 氏がこのレポートに貢献しました。