はじめに
近年、ChatGPT、Claude、Geminiなどの大規模言語モデルの性能が向上しています。 今回、過去の特許審査で引用された特許文献の記載箇所・段落を、これらのモデルがどの程度正確に抽出できるかを検証しました。
テスト対象
以下の引用文献の条件を満たす過去の特許文献を100件抽出しました。
- 拒絶理由通知引用(審査官による引用)がある
- 請求項1のみでXカテゴリーで引用されている（単⼀の⽂献のみで発明の新規性⼜は進歩性がないと判定されたもの）
- 特許公開公報
- 引用している文献の記載箇所の段落数が1-5以内（あまりに範囲が広いとピンポイントで記載箇所を正しく抽出できているかを評価できないため）
- 図面を引用していない
- 引用している明細書が5万文字以下
再現率検証手順
APIを使って各モデルに、テスト対象の特許文献のトップクレームの技術構成要素が引用文献のどの段落に記載されているかを生成してもらい、以下の3つの観点で再現率を評価しました。 なお、今回、段落一致再現率は、必ずしも審査官が引用した段落と完全に同一の段落でなくても周辺の記載内容でも十分正しい引用と考えられるため、前後±2の周辺段落でも正解と取り扱っています。
- 記載有無再現率: 段落の一致までは問わず、少なくとも審査官が引用した文献のどこかに一致する記載があることをAIが正しく抽出できている割合
- 部分一致再現率(1引用段落±2): 審査官が引用した文献の段落と±2の範囲で一致する段落を、AIが少なくとも1つ正しく抽出できている割合
- 全一致再現率(全引用段落±2): 審査官が引用した全ての段落のうち、AIが±2の範囲で一致する段落を正しく抽出できている割合
再現率性能評価結果
| モデル | ベンダー | 記載有無再現率 | 部分一致再現率(1引用段落±2) | 全一致再現率(全引用段落±2) |
|---|---|---|---|---|
| gpt-4-0125-preview | OpenAI | 89% | 52% | 38.16% |
| gpt-3.5-turbo-0125 | OpenAI | 42% | 18% | 12.72% |
| gemini-1.0-pro | 70% | 15% | 8.77% | |
| claude-3-opus-20240229 | Anthropic | 96% | 72% | 56.14% |
| claude-3-sonnet-20240229 | Anthropic | 93% | 70% | 58.33% |
| claude-3-haiku-20240307 | Anthropic | 85% | 49% | 42.98% |
検証の結果、claude-3-opus-20240229が最も高い再現率を示し、人の審査官が引用した段落と少なくとも1つは7割以上の精度で一致させることができました。 また、Sonnetモデルもopusとほぼ同等の結果を残しています。さらに、GPT3.5Turboよりも低コストのHaikuモデルでも、比較的良好な性能を示しています。 Claude3シリーズは、Haikuでも思ったよりも複雑なタスクでも頑張ってくれそうですね。
審査官による引用文献の記載段落は1例であり他の段落でも一致させられることを勘案すると、 Claude3 Opus/Sonnet、GPT4は十分、参考に利用できる程度の精度を示していると感じられます。
最後に
現時点で、特許のクレームという抽象的な表現と、特許明細書の記載内容の一致がこのレベルでできるようになっていることは、 今後、大規模言語モデルの更なる改善により、特許審査における引用文献の抽出をはじめ様々な特許調査業務の自動化が期待できます。
特許検索・分析プラットフォームPatentfieldでは、上記のような大規模言語モデル・生成AIを組みわせたサービスを開発しており、 2024/3/22(金)に生成AIサービスを活用した特許査読支援の新サービスに関する発表を行います。
申し込み期限は3/20(水)までとなりましたが、もしご興味ございましたら、オンラインでも参加可能なのでご参加ください。
https://prtimes.jp/main/html/rd/p/000000045.000025380.html
おまけ: 出力サンプル例
審査官による拒絶理由と各モデルの実際の出力例は以下のようなものになります。
- 審査官による拒絶理由
下記引用文献１には、「本発明の電源回路装置は、ＭＯＳＦＥＴ１と、制御Ｉ Ｃ４と、絶縁層３とから構成される。」（［００１４］）、「制御用ＩＣ４は、 その基板の電位がＧＮＤになるように設計され、ＭＯＳＦＥＴ１のソース電極２ 上に導電性接着剤６により直接固着されている。ＭＯＳＦＥＴ１の表面、つまり ソース電極２はＮチャネル型の場合その電位はＧＮＤであるので、制御用ＩＣ４ 裏面とＭＯＳＦＥＴ１表面が同電位となる。また、制御用ＩＣ４表面の他の制御 端子はボンディングワイヤ７によりＭＯＳＦＥＴ１のゲートパッド電極９、また はリード端子と固着され、外部へ導出される。」（［００１６］）、「絶縁層３ は、ＭＯＳＦＥＴ１のソース電極２上に設けられたポリイミドまたは窒化膜など の表面保護膜であり、制御用ＩＣ４との固着部分は開口され、ＭＯＳＦＥＴ１の ゲート端子Ｇおよびソース端子Ｓへの電極の取り出し部も開口される。」（［０ ０１７］）、等と記載されている。 本願の請求項１に係る発明と、引用文献１に記載された発明とを比較すると、 両者に実質的な構成上の差異は認められない。
- claude-3-opus-20240229
以下の表に、判定対象の構成要素ごとに、[対象特許]の明細書中に含まれているか否かを判定した結果を示します。
| 構成要素 | 判定結果 | 出現位置 | 判定の理由 |
|---|---|---|---|
| 第一のダイを具備する半導体デバイス | 含まれている | [0014], [0015], [0018], [0019] | 明細書には、MOSFET1と制御IC4を重ね合わせた半導体デバイスが記載されている。MOSFET1が第一のダイに相当する。 |
| 第一のダイは表面を有する | 含まれている | [0015], [0018], [0019], [0020] | 明細書には、MOSFET1の表面（ソース電極2）が記載されている。 |
| 表面はパッシベーション領域を含む | 含まれている | [0017] | 明細書には、MOSFET1の表面に絶縁層3（ポリイミドまたは窒化膜などの表面保護膜）が設けられていることが記載されている。この絶縁層3がパッシベーション領域に相当する。 |
| 表面は少なくとも一つの伝導性ボンドパッド領域を含む | 含まれている | [0015] | 明細書には、MOSFET1の表面の実動作領域の外部にゲートパッド電極9が設けられていることが記載されている。このゲートパッド電極9が伝導性ボンドパッド領域に相当する。 |
| 表面は少なくとも第二のダイを受容するサイズの広い伝導性領域を含む | 含まれている | [0015], [0016], [0018], [0019] | 明細書には、MOSFET1の表面のソース電極2上に制御IC4が導電性接着剤6により固着されることが記載されている。このソース電極2が第二のダイ（制御IC4）を受容するサイズの広い伝導性領域に相当する。 |
[0014], [0015], [0016], [0017], [0018], [0019], [0020]
- claude-3-sonnet-20240229
構成要素の分解と判定結果は以下の通りです。
| 構成要素 | 判定 | 出現位置 | 判定の理由 |
|---|---|---|---|
| パッシベーション領域 | 含まれている | 0015, 0017 | 絶縁層3がパッシベーション領域に相当する。 |
| 少なくとも一つの伝導性ボンドパッド領域 | 含まれている | 0015, 0016 | ゲートパッド電極9が伝導性ボンドパッド領域に相当する。 |
| 少なくとも第二のダイを受容するサイズの広い伝導性領域 | 含まれている | 0015, 0016 | ソース電極2が広い伝導性領域に相当し、制御用IC4を受容している。 |
| 第一のダイ | 含まれている | 0015 | MOSFET 1が第一のダイに相当する。 |
| 半導体デバイス | 含まれている | 0014-0019, 0022-0025 | 電源回路装置が半導体デバイスに相当する。 |
出現位置の配列: 0014, 0015, 0016, 0017, 0019, 0022, 0023, 0024, 0025
本発明の電源回路装置は、MOSFET 1(第一のダイ)上にソース電極2(広い伝導性領域)、ゲートパッド電極9(伝導性ボンドパッド領域)、絶縁層3(パッシベーション領域)を有し、ソース電極2上に制御用IC 4(第二のダイ)を固着する構造を開示している。このように、全ての構成要素が明細書に記載されている。
- claude-3-haiku-20240307
以下の表形式で判定結果を出力します。
- 構成要素: パッシベーション領域
- [含まれている]
- [出現位置: 段落[0017]]
[判定の理由: 明細書には「絶縁層３は、ＭＯＳＦＥＴ１のソース電極２上に設けられたポリイミドまたは窒化膜などの表面保護膜であり」と記載されており、パッシベーション領域に相当する構成が含まれている。]
構成要素: 少なくとも一つの伝導性ボンドパッド領域
- [含まれている]
- [出現位置: 段落[0015]]
[判定の理由: 明細書には「ＭＯＳＦＥＴ１のゲートパッド電極９が設けられ、ボンディングワイヤ等によりリードフレームのゲート端子Ｇに接続して電極の取り出しを行う」と記載されており、伝導性ボンドパッド領域に相当する構成が含まれている。]
構成要素: 少なくとも第二のダイを受容するサイズの広い伝導性領域
- [含まれていない]
- [出現位置: 出現位置なし]
[判定の理由: 明細書には、第二のダイを受容するサイズの広い伝導性領域に相当する構成は記載されていない。]
構成要素: 第一のダイ
- [含まれている]
- [出現位置: 段落[0014], [0015], [0016]]
- [判定の理由: 明細書には「ＭＯＳＦＥＴ１は、出力用トランジスタであり、その中に多数のＮチャネル型ＭＯＳトランジスタのセルを設けた実動作領域を有する」と記載されており、第一のダイに相当する構成が含まれている。]
出現位置の数字の配列: 0017, 0015
- gpt-4-0125-preview
| 構成要素 | 含まれている/含まれていない | 出現位置 | 判定の理由 |
|---|---|---|---|
| パッシベーション領域 | 含まれていない | 出現位置なし | 明細書中にパッシベーション領域に関する記載が見当たらないため |
| 少なくとも一つの伝導性ボンドパッド領域 | 含まれている | 0015, 0016 | 「ゲートパッド電極９」が伝導性ボンドパッド領域に該当すると考えられるため |
| 少なくとも第二のダイを受容するサイズの広い伝導性領域 | 含まれている | 0015, 0016 | 「ソース電極２」が第二のダイ（制御用IC4）を受容するサイズの広い伝導性領域に該当すると考えられるため |
| 第一のダイを具備する半導体デバイス | 含まれている | 0014, 0015, 0016 | 「ＭＯＳＦＥＴ１」と「制御用ＩＣ４」がそれぞれ第一のダイと第二のダイに該当し、これらが半導体デバイスの構成要素として記載されているため |
出現位置の配列: 0015, 0016
