Foundry Labs / コミュニティから
AIインフラ計画：電力とデータ移動の制約から考える
目次
計算資源の計画は、表計算上では効率的でも、実際には建設・運用できないことがあります。Tokyo AIの「Beyond Silicon」でKarthik Rampalli氏は、AIデータセンターを電力、土地、水、立地の制約から捉えました。モデル需要が増えると、これらは背景条件ではなく、サービスの提供場所、費用、可用性を左右します。
一つのリクエストを物理設備まで追う
AIサービスの設計では、モデルの大きさ、遅延、処理量から始めることが多いでしょう。しかし通常時とピーク時の負荷を支えるには、電力、冷却、通信、設置場所が必要です。導入予定時期までに電源や用地を確保できないなら、ベンチマークが良くても計画は成立しません。アプリケーションの需要を、ハードウェア、設備、電力網までつないで審査します。
立地にも選択があります。利用者の近くに置けば遅延や一部のデータ転送費を抑えられます。一方、地域を分ければ復旧力や電力へのアクセスが改善する場合があります。データ移動、主権に関わる要件、保守体制は同じ方向を向くとは限りません。発表が示したのは、データセンターを単なるサーバー置き場として扱えないという視点です。
設備を決める前に負荷を審査する
文書分析サービスを試験利用から企業の日常業務へ移す例を考えます。日次の処理数、同時利用のピーク、入力の大きさ、許容できる待ち時間を見積もり、モデルやキャッシュの選択で必要な計算資源がどう変わるかを試します。次に、どこで動かし、実際に使える設備は何か、停電や通信障害時にどう復旧するかを確認します。これは説明用の計画例です。
Foundry Labsが顧客と検討すべきなのは、システム全体を想定規模で続けられるかです。アクセラレーターだけでなく、設備、電力契約、復旧計画も重要です。実証を本番サービスとして約束する前に、物理的な制約を見えるようにします。
Tokyo AIは、Foundry Labsが運営する日本の開発者、研究者、ビジネスリーダーのコミュニティです。イベントページもご覧ください。
登壇者の講演資料は、ご希望に応じてご案内できます。お問い合わせフォームからイベント名と登壇者名をお知らせください。
登壇者
- Karthik Rampalli：Ceremorphic日本責任者。