DoubleVerifyにおけるコンテンツ分類オペレーションの役割を解説

しばしば、我々の顧客は、我々の分類チームがどのように運営されているか、また、コンテンツがどのように分類されるべきかを我々が正確に決定する方法を知りたがっています。今回の「専門家に聞く」シリーズでは、DoubleVerify（DV）のAI製品オペレーションのシニアディレクターであるCJ Morelloが、彼のチームがどのように人工知能（AI）と連携してコンテンツを分類しているのかについて説明します。

分類オペレーションチームの役割についてお聞かせください。典型的な一日はどのようなものですか？

分類オペレーションチームは、AIキュレーションのスペシャリストで構成されており、DVのブランドセーフティおよびスータビリティ（適合性）製品を支えるコンテンツに注釈を付けています。毎日、何千もの画像、ソーシャルメディアへの投稿、ウェブページ、CTV、モバイルアプリをレビューし、さまざまなコンテンツカテゴリーに分類しています。次に、これらの分類をDVシステムに入力し、分類を数百万個のコンテンツに高い精度で拡張できるアルゴリズムのトレーニングデータとして管理します。これらの自動化されたシステムのパフォーマンスを毎日確認し、データサイエンス、ポリシー、プロダクトマネジメントの各チームと連携して調整を行い、分類の精度を最大限に高めています。

この分野で働くようになったきっかけは？

GoFundMeで数年間、トラスト＆セーフティとプロダクトオペレーションの領域で働きました。しかし、ミッションクリティカルなトラスト＆セーフティのビジネスユニットが、ビッグデータと機械学習によって、どのように大規模に機能するかを学びたいという欲求がありました。Amazonでは、素晴らしいデータサイエンティストやリスクマネジメント分野のリーダーから、分類されたトラスト＆セーフティについて学ぶことができ、素晴らしい職務に就くことができました。

仕事で一番好きなことは何ですか？

私のチームは、言語学者、エンジニア、ビジネスリーダー、最先端テクノロジーと協力して、あらゆる種類のコンテンツを自動的に分類できる機械学習モデルを訓練して立ち上げるとともに、常に人間がループ内にいることを保証しています。モデルが気づかないようなトレンドにも即座に対応し、日々新しいチャレンジとチャンスに遭遇することで、仕事は常にエキサイティングなものとなっています。

コンテンツの分類について、よく誤解されることは何でしょうか？

よくある誤解は、広告主が安全でない、あるいは不適切であると判断したコンテンツをキーワードで検出するだけで、ブランドを保護するのに十分であると考えていることだと思います。効果的なブランドセーフティ、スータビリティ（適合性）戦略には、包括的なコンテンツ分類が必要です。

DVの包括的な分類方法は、セマンティックサイエンスエンジンと機械学習を組み合わせ、あらゆるタイプのコンテンツの内容、文脈、トーンを確実に表現する分類を実現しています。この完全な文脈分析により、ブランドは広告の表示場所に確信を持って行動することができます。

だからこそ私は、ブランドセーフティとスータビリティ（適合性）の問題のニュアンスと、その背後にある歴史を理解するための教育と情熱を持った、プロダクトとポリシーのリーダーをチーム内で大切にしています（ローカル言語と海外言語の両方）。このような専門知識がなければ、大規模な分類を行うための素晴らしい技術も、ほとんど意味をなさないでしょう。

あなたのチームでは、どのようなスキルを持つ人が活躍していますか。

私たちがよりよい分類製品を提供するために、2つの重要なスキルがあります。1つ目は、簡単に実行できる優れたプロセスを構築する能力です。もうひとつは、優れたメディアリテラシーとクリティカルシンキングで、これによって人間による分類チームは、分類システムの結果を解釈し、機械による分類の背後にある「なぜ」を難なく理解することができます。成功した製品運用チームは、パターンを瞬時に特定することで製品のあらゆる問題の真相を迅速に把握し、それによってエンジニアやデータサイエンティストがアルゴリズムやモデルを改善する手助けをすることができるのです。

仕事の中で見た、最も面白いものは何ですか？

日常的に目にする繊細な内容を考えると、この分野ではユーモアのセンスを保つことが重要です。いつも驚かされるのは、ネット上での言葉の使い方が進化していることで、悪用する人たちの創造力を思い知らされることです。例えば、プラットフォームのコンテンツ調整ツールを回避するために、単語のスペルを間違える方法はいくらでもあります。ウムラウト（母音変異）やアクセント記号を不要な文字に追加したり、異なる言語の文字を組み合わせたりすることで、機密性の高い単語ではなく、安全なパスワードのように見える芸術的な綴り方をすることができます。例えば、Pø®ñøgråp‡‡¥などです。

これまでの仕事で、最も誇りに思っていることを教えてください。

私は数ヶ月前にDVに入社しましたが、ここに来るきっかけとなったのは、もともと私がこの業界に興味を持ったことです。この仕事には大きな価値があり、うまくやらないとブランドにも影響が及ぶとずっと思っていました。特にユーザーが作成したコンテンツを扱う場合、ビジネスの成長と従業員や顧客の安全を両立させるのは大変なことです。一方で、DVのビジネスは、ブランドセーフティと不正防止ソリューション、そして測定・分析することで、スケーラブルな成功につながっています。私は、 “the whole ballgame “である会社の一員であることを誇りに思っています。

この分野や技術の発展についてもっと知りたい人にお勧めの資料があれば教えてください。

スタンフォード大学のインターネット研究センターは、オンライン・セーフティに関するさまざまなトピックや、信頼性の促進やアンチ・ダメージ・ディフェンスを目的とした製品の有効性に関する定期刊行物を発行しており、厳密に研究された論文を読むのが好きです。また、データサイエンス、リスクマネジメントのリーダー、政府機関の専門家を招き、オンラインの世界でますます急速に進化し続ける社会、技術、経済の変化や脅威についてさまざまな角度から解説する「Marketplace Risk Platform Podcast」も楽しんでいます。

分類の専門家の意見をもっと読みたい方は、機械学習技術に関するAnna Zapesochiniの「専門家に聞く」ブログをご覧ください。