「まだ、世界で勝者は決まっていない」——セキュアなAI基盤開発の壁と面白さとは
公開日:2026.11.20

Acompanyでは現在、Confidential Computing(以下、CC)環境下で動く推論API基盤「Acompany API」の開発に取り組んでいます。 本記事ではAcompanyの開発を支えてきたプロダクトエンジニアの坂本さんと北谷さんに、低レイヤーからLLMシステム基盤までの幅広い開発を通じて直面してきた技術的な難題や、それらを乗り越えるための取り組みについて聞きました。
【プロフィール】
坂本 壮太(Sota Sakamoto) :プロダクトエンジニア
京都大学大学院理学研究科数学・数理解析専攻修了。在学中は競技プログラミングに没頭し、アルゴリズムとデータ構造を独学。研究分野は「不可分財の公平分割問題」および「一次関数の最適合成順序問題」。2023年4月にAcompanyへ新卒入社。秘密計算エンジン「QuickMPC」のアルゴリズム高速化を担当した後、Intel SGXを用いたデータクリーンルーム(DCR)基盤、Confidential AI Suite(以下、CAS)のロジック・セキュリティ実装を牽引。現在は「Acompany API」のソフトウェアエンジニアとして、推論効率化・レイテンシ制御・セキュリティモデル設計を担う。
北谷 勇樹(Yuki Kitaya) :プロダクトエンジニア
神戸大学工学部応用化学科にてBaeyer-Villiger反応の収率改善をテーマに、反応機(リアクター)の最適設計に関する研究に従事した後、株式会社ゆめみに入社。データエンジニアとして社内経営ダッシュボード基盤やETLパイプラインの実装をリード。2024年7月、Acompanyに入社。セールスエンジニア、Data Clean Room(以下DCR)プロダクトのバックエンド開発を経て、CASの基盤をAzure Container InstancesからCVM(Confidential Virtual Machine)へ刷新するDevOps・インフラ領域を担当。現在は「Acompany API」におけるハードウェア・インフラ選定、ベアメタルのデータセンター展開、ゼロトラストなデプロイパイプラインの設計を主導する。
数学とデータ基盤。異なるバックグラウンドを持つ2人がAcompanyを選んだ理由

ー まずはお二人のバックグラウンドについて教えてください。
坂本: 大学では数学科に所属しており、大学2年生になるタイミングで競技プログラミング(以下、競プロ)に出会いました。そこからアルゴリズムとデータ構造の世界に完全にのめり込み、純粋数学の比重を落として競プロの問題を解き続ける日々を送っていました。大学院はアルゴリズムや離散最適化を専門に扱う研究室に進み、「不可分財の公平分割問題」と「一次関数の最適合成順序問題」を研究テーマとしていました。
北谷: 私は工学部の応用化学科出身で、研究室ではフラスコやビーカーレベルの化学反応をいかに工業プラントでスケールさせるかという「反応機(リアクター)の最適設計」に取り組んでいました。理論的には成立する反応でも、流体や熱伝達の物理的制約によって実用的な反応速度が出ない課題を、機器設計で解決するアプローチです。ただ、研究を進める中でソフトウェアで高速に仮説検証を回すエンジニアリングのほうに強い魅力を感じるようになりました。
株式会社ゆめみに新卒入社し、データエンジニアとしてキャリアをスタートさせました。全従業員の稼働ログやSalesforceに蓄積された案件・売上データを抽出し、原価率や利益率をリアルタイムに集計・可視化する全社的なETLパイプラインと経営ダッシュボードの構築などを手掛けていました。
ー なぜ二人はAcompanyを選んだのでしょうか。
坂本:私がAcompanyを知ったきっかけは、修士1年の12月にAcompanyが開催した競プロのコンテストでした。
企業が競プロのコンテストを主催する場合はAtCoderなどのコンテストサイトに企業冠スポンサーとして協賛するのが当時の通例で、余力のある一部の企業がそれに加えて問題案を提供したり懇親会を開いたりする程度でした。しかしAcompanyのコンテストは問題作成からジャッジシステム、インフラなどコンテスト開催に必要な全てを自前で開発し、さらに懇親会や豪華賞品まで用意するという、当時としては非常に珍しいものでした。賞品に釣られてこのコンテストに参加したのち、当時CTOだった近藤さんからスカウトの連絡をいただき、面談に進みました。
当時のAcompanyはMPC(Multi-Party Computation)をコア技術としており、高度な数学を単なる理論で終わらせず、商業プロダクトに落とし込んでいたことに強く興味を持ちました。また、自社コンテストを開催するほどの競プロカルチャーがあること、新卒年収として他社よりかなり高い金額を提示していたこと、オフィスの場所が自分の好みに合致していたことなどにも惹かれて、入社を決めました。
ー 北谷さんはリファラル経由でのご入社でしたよね。
北谷:ゆめみのデータエンジニアチームで同僚だった稲毛さんからの誘いでした。前職のダッシュボード構築もビジネス上の価値は大きく魅力を感じていましたが、経営判断の1つの参考指標にとどまる感覚がありました。もっと事業のコアであり、かつ技術的な難易度が極めて高い、社会的なインパクトのある領域にエンジニアとして身を投じたいという思いがあったんです。
もう1つの決定打は「組織の誠実さ」でした。Acompanyは、技術的な実現可能性や現状の課題を濁さずにオープンに議論できる文化がありました。「この人たちが集まる組織なら、逃げずに本質的な技術的難題に立ち向かえる」と確信できたのが入社を決めた最大の理由です。
MPCからCCへ。変化する技術基盤と開発の軌跡
ー 入社後、お二人はどのような技術的課題に向き合ってきたのでしょうか。
坂本: 秘密分散技術を扱う「QuickMPC」に携わり、特にアルゴリズムの高速化や安全性の向上を担当していました。当時は競技プロ以外のコンピュータサイエンスにほとんど触れたことがなく、APIやコンテナといった基本的な概念を学びながら、得意としていたMPCのアルゴリズム開発で成果を出していました。
大きな転換点は、入社数ヶ月後にCC技術が社内に本格導入されたことです。秘密計算を用いたDCR(Data Clean Room)(※)というプロダクトのコンセプトは変わらないものの、コア技術がソフトウェアからハードウェアに変わり、開発内容も大きく変化しました。
※DCR(Data Clean Room)とは、本人同意非依存で複数の事業間のデータをゼロトラストな状態で共有・分析可能なプラットフォームのことです。
当初採用していたIntel SGXには、Enclaveと呼ばれる安全な隔離実行環境があります。しかし、当時の環境では実質的に利用できるメモリが96MB程度と限られており、数GBに及ぶDCRの入力データを扱うには、ストリーミング分割などを駆使した特殊な省メモリアルゴリズムをゼロから開発する必要がありました。
さらに難しかったのが、安全性の保証です。計算結果が正しいことはテストである程度検証できますが、「機密データがEnclave内でのみ復号され、処理の過程で外部に漏れないこと」を保証するのは容易ではありません。情報も前例も少ない環境で、こうした要件を満たしていると示す必要があり、当時はかなり苦労した記憶があります。
その後も、新しいCC対応ハードウェアへの移行や、KDDI様をはじめとした商用提供など、一貫して約2年間DCRの開発に携わりました。
北谷: 2024年7月に入社し、最初の2ヶ月はセールスエンジニアとして、DCRのデモ環境を構築し、実際のUI操作や技術仕様を解説する顧客フロント業務を担当しました。同年9月からは正式にDCRの開発チームに合流し、Snowflake連携インターフェースやCLIツールなど、セキュア基盤を外部サービスと滑らかに統合するためのバックエンド実装を行いました。
その後、CASの開発にシフトしました。当時の基盤はAzure Container Instances上で動いており、運用管理の自由度やDevOpsの自動化において多くの課題を抱えていました。そこで、システム全体をCVM(Confidential VM)アーキテクチャへと全面的に移行させるプロジェクトを主導しました。CI/CDパイプラインを高速化し、セキュアな開発環境を整え直しました。
ー 2026年4月、お二人は「Acompany API」の開発に合流します。ここでの技術的な「壁」は何だったのでしょうか。

北谷: Acompany APIは、プロダクトCTOの田中さんがPoCとして立ち上げたLLM推論API基盤が母体です。これを商用本番レベルの堅牢なインフラへと昇華させるのが私のミッションでした。しかし、CC環境におけるインフラ運用には、一般的なWebシステムとは決定的に異なる「技術的な壁」が存在します。それは「一度起動したVMの内部には、運用者であってもSSH等で入れない」という大前提です。
一般的なクラウドインフラであれば、VMにSSHログインして構成変更を適用したり、稼働中のコンテナ内でマイグレーションスクリプトを実行したりといった運用が許容されます。しかし、CCによって処理中のメモリを暗号化していても、SSHなどで外部からVM内部にアクセスできる経路を残してしまうと、運用者がCC内にアクセスして情報を閲覧できてしまいます。
そのため、私たちのセキュリティモデルでは、運用中のVMに直接変更を加えるmutable deploy(in-place deploy)を許容せず、デプロイ戦略を完全な「イミュータブル・インフラストラクチャ」として再設計する必要がありました。
アプリケーションコードや環境変数の変更があるたびに、暗号学的にアテステーション検証されたクリーンな新しいCVMインスタンスを自動立ち上げし、内部の自動プロビジョニングとヘルスチェックが完全に完了したことを確認した上で、トラフィックを新VMへルーティングし、旧VMを安全に破棄するゼロタッチなデプロイメントパイプラインを構築しました。開発モードで動いていた依存ライブラリの排除や、環境変数の不整合でVMが沈黙するエッジケースの徹底的な洗い出しなど、商用品質を担保するための土台を泥臭く固めていきました。

CC×LLM推論基盤のアーキテクチャと、立ちはだかる「推論の壁」

ー 現在、坂本さんがソフトウェア面、北谷さんがハードウェア・インフラ面を主導されていますが、LLM推論をAPIとして提供する上での固有の難しさはどこにあるのでしょうか。
坂本: これはCCとは関係なく純粋にLLM推論API側の話になるのですが、一般的なWeb APIに比べてリクエストや演算の内容に幅があり、サーバー負荷を見積もることが非常に難しいと感じています。現在私たちはCC環境でLLMを動かし、API経由で複数の社内・社外アプリケーションのリクエストを捌いています。
その中には簡単なチャットなど数十トークン程度の短いリクエストもあれば、巨大なコードベースの情報を載せた数万トークン規模のリクエストもありますし、最初は短いチャットだったのが会話が続くにつれてだんだん長くなっていくようなケースもあります。
ケースによってマシン負荷を決める入出力トークン長やKV Cacheヒット率などがバラバラなため「1台のマシンで捌けるリクエスト量」を見積もることが非常に難しくなります。加えて、推論エンジンがスループット向上のため複数リクエストを同時にバッチ処理することで処理時間が「そのバッチの中で最も長いリクエスト」に強く引きずられるなど、複数のリクエストが相互に影響し合うケースもあります。
モデルごとにこれらの事象を念頭に置いて負荷分散のオーケストレーションや負荷試験の設計、ベンチマーク測定基準の策定、プラン・プライシングの決定などを行っており、変数の多さに日々頭を悩ませています。
ー API仕様の互換性維持や品質テストの面では、どのような工夫をされているのですか?
北谷: Acompany APIは、業界のデファクトスタンダードである「OpenAI API/Anthropic API仕様」に厳密に準拠させています。これにより、自社プロダクトはエンドポイントの向き先を切り替えるだけでシームレスに推論基盤を利用できます。しかし現在、開発者向け市場ではClaude CodeやOpenAI Codexといった多様なAIエージェントツールが台頭しており、これらは内部で独自のエンドポイント構造やパラメータを要求してきます。
Acompany APIがこれらのツール群から直接叩かれるケースを想定し、プロキシ層でリクエスト仕様の差分を吸収・相互変換するアダプタ機能を開発しています。しかし、単にリクエストが通るだけでなく、「クライアントが期待する完全な挙動が保たれているか」を継続的にテストし、互換性を保証するパイプラインを組むのは非常に骨が折れる作業です。
さらに、LLMの出力品質を自動評価する「品質試験パイプライン」の構築も進めています。推論APIを経由してコードを自動生成させ、そのコードをサンドボックス内で実際にビルド・実行してバグの有無を判定し、スコアリングする仕組みです。しかし、LLMの出力には揺らぎがあり、テストケースの設計やスコア基準に客観性を持たせることは容易ではありません。「数字上はスコアが高いが、人間が実際にWebアプリケーションを開発する際の体感的な使い心地と一致しているか」という定性的な評価のギャップをいかに埋めるか、日々試行錯誤を重ねています。
ー CCとLLM推論を組み合わせる上で、特に注意を払っているセキュリティ上の論点は何でしょうか。
坂本: CCを使うことで安全になる範囲とならない範囲の境界をきちんと理解し、それに応じた対策や説明を行うことです。
Acompany APIはLLMの推論プロセスをCCで保護し、ユーザーがLLMに送信したプロンプトとLLMが返送した推論結果が機密性を保ったまま処理されることを保証します。しかし、昨今のLLM活用において推論プロセスだけで完結するユースケースはほぼ存在せず、Web検索やNotionとのMCP連携など、外部と接続するツールをLLMが自律的に使うケースが一般的になっています。
いくらCCによる保護を強固にしようとも、ユーザーがAcompany APIを繋いだクライアントアプリにこういったツールを接続していれば、LLMに送信した機密情報は検索クエリや書き込みクエリという形で保護領域の外へと出ていきます。
また、プロンプトインジェクションやSlopsquattingなどLLMの振る舞いを対象とした攻撃に対しては、CCとは異なるレイヤーでの対策が必要です。特に、外部ツールと連携する環境では、機密情報の意図しない流出を防ぐため、インフラレイヤーやアプリケーション側のセキュリティ対策を組み合わせることが重要になります。CCによる推論プロセスの保護を基盤としながら、ほかの技術で補完すべき領域にも適切な対策を講じ、ユーザーにもセキュリティモデルを正しく理解してもらうことで、プロダクト全体の安全性を高めていきたいと考えています。
クラウドからベアメタルへ。LLMのセキュアな推論に挑む
ー 現在お二人が挑まれている、次世代推論基盤の取り組みについて教えてください。
坂本: 私たちが今まさに取り組んでいるのが、CCを搭載した巨大なマシンを調達し、モデル重みだけで1TBに達するようなフロンティア級のLLMをTEE環境内で完全稼働させるプロジェクトです。
モデルサイズが大きくなると、複数のGPUを使った処理が必要になり、NVLinkを用いたGPU間の高速通信など、ハードウェアレベルでもこれまでとは異なる対応が求められます。
現在商用提供している環境でも数十GB程度のモデルをセキュアに推論できていますが、フロンティア級の性能を出すには、モデルサイズと計算能力をもう一段階スケールアップさせる必要があります。一方で、既存の推論エンジンには、CC特有の制約によって一部の高速化技術をそのまま適用できないという課題があります。こうした制約をいかに解消し、セキュリティを確保しながら高い推論性能を実現するか。私は現在、超巨大モデルの推論を支えるアーキテクチャの研究・開発に全力を注いでいます。

北谷: そして、そのハードウェア基盤をベアメタルレベルから構築するのが私の役割です。これまではハイパースケーラーが提供するマネージドなCVM基盤に依存していましたが、クラウド事業者のハイパーバイザや独自ソフトウェアへの信頼を完全に排除し、主権を担保するためには、オンプレミスのデータセンターに自分たちでベアメタルサーバーを設置し、直接ハードウェアを制御しなければなりません。
具体的には、ビジネスサイドと連携してマシン調達を推進しつつ、実際にデータセンターへ赴き、サーバーなどの物理マシンを直接ラッキング・セットアップしています。BIOS/UEFIの設定から、セキュアブート、KVM/ハイパーバイザのチューニング、ハードウェアベースのRA基盤の確立まで、クラウドが隠蔽してくれていた泥臭い低レイヤー技術を一手に引き受けています。こうした低レイヤーから技術基盤を作り上げていくことは、Acompanyの技術力をさらに高める挑戦です。
ー 超巨大モデルをCC環境で動かすとなると、さらに未知の技術的課題が出てきそうですね。
坂本: 課題の難易度は跳ね上がりますね。まず、1台のマシンに収まらない巨大モデルを扱うための「複数ノード・複数ラック間での分散推論」です。現在、世の中ではラック間を高速インターコネクトで結ぶLLM分散推論の研究が進んでいますが、「通信経路と全計算ノードを同時にコンフィデンシャルコンピューティング化する」という領域に踏み込んでいるプレイヤーは、世界中を見渡しても数%も存在しません。
さらに、推論の高速化に欠かせない「KV Cache」の外部ストレージ退避問題があります。通常は外部の高速分散ストレージにキャッシュを逃がしますが、外部ストレージはTEEの保護境界外にあるため、そのまま書き出せば暗号化が解けてしまいます。キャッシュをメモリ内でどう暗号化・復号しながら高速転送するかという課題が存在します。
60人のスタートアップから、世界を獲りにいく
ー 最後に、お二人が今Acompanyで挑戦し続けている理由を教えてください。
北谷: Acompany APIという極めて汎用性の高いインターフェースを手に入れたことで、事業開発のスケールが急速に拡大しているのを肌で感じています。極めて高い機密性が求められる重要プロジェクトにおいて、私たちの提供するソリューションが顧客のニーズを叶える一つの解として深く刺さり始めています。
ベアメタルから自前でセキュアな基盤を構築し、世界のトッププレイヤーと戦えるセキュアAIインフラを日本発で作り上げる。この挑戦が形になったとき、社会全体に与えるインパクトは計り知れません。低レイヤーのハードウェア制御から、推論パイプラインの最適化、そして事業の急拡大まで、エンジニアとしてこれほど視界が広く、アドレナリンが出る環境は他にはないと感じています。
坂本:安全にデータを扱う基盤を提供することの社会的意義ももちろんありますが、それ以上に私が魅力を感じているのが「日本の小さなスタートアップから、世界市場の数割を獲りに行けるゲームにプレイヤーとして参加できている」という点です。
CCは数年後には世界的なIT基盤になることが予測されている、非常に注目度が高く、かつ難しい技術です。Acompanyは社員数60人程度のスタートアップですが、この領域で高い技術力を持っており、扱う案件のスケールや難易度も日に日に上がっています。自分の技術力や発想力、意思決定の一つ一つが会社のレベルを10倍にも100倍にも上げ得る今の状況は非常に刺激的で面白い稀有なものだと感じているので、余すことなく楽しみ尽くしたいです。

入力された情報は学習には使われませんが、念のため個人情報の入力はお控えください。




.png)


.png)

