Clef-omniとは？音声と動画も判定するCloudflareの判断モデル

マワルくん

こんな人におすすめ
・Clef-omniの速報を見て、Clefと何が違うのか知りたい
・通話の録音や現場の動画を、AIで一次判定できないか考えている
・料金の「100万トークン0.15ドル」が自社でいくらになるか知りたい

Cloudflareは2026年10月9日、音声と動画も読める判断モデル「Clef-omni」を公開しました。同月1日に出したClefの、入力の幅を広げた版です。

Clef-omniとは、文章・画像・音声・動画をまとめて受け取り、決めた質問の選択肢ごとに確率を返すモデルです。押さえておきたいのは、変わったのは「いったん文字にしてから判定する」段が要らなくなった点で、費用と速さは素材の長さで決まるということです。本記事では、仕組み、1回で渡せる量、料金の数え方、速さと成績、公開された重み、Clefとの使い分けを、2026年10月時点の公式情報で整理します。

Clef-omniとは

音声と動画も読む判断モデル

Clef-omniは、状況を表す入力と、型の決まった質問を受け取ります。返すのは文章ではなく、はい・いいえの確率や、選択肢それぞれの確率です。状況として渡せるのは、文章、JSON、画像、音声、動画です。Clefの仕組みや公表値の読み方は、別記事で解説しています。

2026年10月9日に公開

Clefの系列では、27BのClef、9BのClef-flashに続く3つ目のモデルです。Clefが読めたのは文章・画像と動画のコマまでで、音声は扱えませんでした。同じ日にClef-flashの値下げとClefの高速化も発表されました。呼び方はClefと同じで、TypeSafe AIのJevと同じ形で質問を渡せます。

文字起こしを挟まない仕組み

これまで音声で判定するには、まず音声を文字に起こし、その文字を別のモデルに読ませる流れが一般的でした。動画なら、音と映像を分けてから扱います。

Clef-omniは、音声や動画をそのまま1回の呼び出しで受け取ります。動画の音と映像のコマは時刻を合わせて一緒に読み込まれ、入力全体を1回読んだうえで、すべての選択肢に同時に点が付きます。文章を書く段が無いので、文字起こしや説明文を作る手間もかかりません。

元にしたモデルは、文章・画像・音声・動画を扱えるQwen3-Omni-30B-A3Bです。全体は30Bで、1回に動くのは3Bの部分です。声で話す出力の部品は外し、理解する部分だけを使っています。

1回で渡せる素材

1回の呼び出しに添付できる素材には、種類ごとの上限があります。

音声と動画は合わせて16MiBまでで、外部のURLは渡せません。動画の音は、添付した動画すべてに音があるときだけ聞き取られます。質問は1回に1〜64問まで並べられます。

料金とトークンの数え方

料金は入力100万トークンあたり0.15ドルで、出力には課金されません。画像・音声・動画は長さや大きさに応じてトークンに換算され、同じ単価で数えられます。

• 音声: 1分あたり約780トークン
• 動画: 最大の解像度で1分あたり最大約15,400トークン。音があれば約780を足す。480pなら約8,600
• 画像: 1枚あたり64〜1,024トークン

1回に読める量は64,000トークンです。素材だけでこれを超えると呼び出しは失敗し、超えない場合は文章の入力が残りに収まるよう切り詰められる仕組みです。Workers AIには1日の無料枠もあります。Clefを呼ぶ手順と、ほかの置き場所との料金の比べ方は、別記事で整理しています。

公表された速さと成績

同社の計測では、中央値で文章だけの判定が約130ミリ秒、画像つきが約150ミリ秒、音声は数百ミリ秒です。21秒の音つき動画でも約1.5秒で結果が返るとしています。数字はいずれも同社自身の計測です。

成績表では、Clefと並べて上回る行と下回る行があります。

• 上回る: 銀行の問い合わせの分類（94.8対94.20）、対象外の見分け（97.7対97.43）
• 下回る: 家電の操作を模した評価（69.3対82.95）、道具を呼ぶかどうかの判断（63.3対72.37）

並んでいるのは文章や道具選びの評価で、音声や動画に絞った正答率は公表されていません。日本語での成績も、2026年10月時点では出ていません。

公開された重み

重みはHugging Faceで公開され、ライセンスは元のモデルに合わせたApache 2.0です。自社のサーバーで動かすこともできます。

ただし、モデルカードの動作確認はデータセンター向けのGPU（H200）1枚で、本体だけで約64GBのメモリを使います。手元で試すには大型のGPUが前提です。同梱された声で話す部分の重みは、読み込まれずに使われません。推論用の仕組みSGLangでの実行は「近日」とされています。

Clefとの使い分け

Clefの系列は、受け付ける素材と単価で分かれます。

Clef-omniはClefより安いものの、成績表では文章の判断で下回る行があります。文章と画像で決まる判断はClefかClef-flash、音と映像を一緒に見ないと決まらない判断だけClef-omniという分け方が、公表値に沿った選び方です。

【プロの視点】単価より1件の長さで見積もる

新しいモデルの料金は、「100万トークンで0.15ドルなら安い」と単価だけで語られがちです。けれど音声や動画では、1件が何トークンになるかが素材の長さで大きく変わります。

1分の音声なら約780トークンで、素材の分だけなら1万件でも約1.2ドルの計算です。同じ1分でも、最大の解像度の動画は音声の約20倍のトークンになります。最大の解像度で60秒の音つき動画を2本渡せば、それだけで1回に読める量の約半分を使います。見積もりの起点は、単価ではなく1件の素材の長さと件数です。

長さを先に押さえておけば、費用だけでなく、文章の入力が切り詰められるかどうかも事前に分かります。

明日やる最初の一歩は、判定したい素材を10件選び、種類と長さを書き出して、1件あたりのトークン数に直してみることです。

【waltsu視点】質問1つ・素材1種類から

1回に64問まで並べられ、音声と動画もまとめて渡せると、最初から全部入りで組みたくなります。けれど全部入りの判定が外れると、どの素材とどの問いが原因かを切り分けるのに時間がかかります。

waltsuが重く見ているのは、試して直す回数です。問いを1つ、素材を1種類に絞れば、外れた理由がすぐ分かり、聞き直す1回が軽くなります。素材や問いを足すのは、その1つで手応えが出てからで十分です。

明日やる最初の一歩は、人がすでに判定を済ませた録音か動画を10件選び、はい・いいえで答えられる問いを1つ書くことです。

よくある質問

Clef-omniとは簡単にいうと？

Cloudflareが公開した、音声と動画も読める判断モデルです。出力は文章ではなく、あらかじめ決めた選択肢ごとの確率です。

Clefとの違いは？

Workers AIで音声と動画を添付できる点です。単価はClefより安い一方、文章の評価ではClefを下回る行があります。

文字起こしは本当に要らない？

判定のためには要りません。音声や動画をそのまま渡せます。ただし判定の根拠となる文字は返らないので、記録が必要なら別に残します。

料金はいくらかかる？

入力100万トークンあたり0.15ドルで、出力は無料です。音声は1分約780トークンなので、素材の長さから見積もれます。

日本語の音声にも使える？

渡すことはできますが、2026年10月時点で日本語の成績は公表されていません。自社の録音で当たり具合を確かめてから使います。

まとめ

Clef-omniは、音声や動画を文字に起こさず、そのまま判断にかけられるClefの新しい版です。単価はClefより安く、重みも公開されましたが、音声・動画での正答率と日本語の成績はまだ公表されていません。

使うかどうかは、素材の長さから費用と収まりを見積もり、問いを1つに絞って試してから決めるのが確実です。録音や動画を業務の判断にどう組み込むかに迷う場面が出てきたら、waltsuが問いの設計から試験運用までご支援します。