CreateField Blog

オープンソースを使って個人でWebサービスを開発・運営していたブログ

2024-01-01から1年間の記事一覧

Cohere Command R+とGPT4, Claude3, Gemini1.5の引用段落抽出精度を比較してみた

はじめに 先日、2024/4/4 CohereからCommand R+という新たなLLM(大規模言語モデル)が発表されました。 Cohereは、Transformerモデルを提唱した論文共同執筆者の人が立ち上げたカナダのAIベンチャー企業のようです。 https://ascii.jp/elem/000/004/192/41929…

Gemini 1.5 Pro APIを使って特許引用文献段落抽出の再現率を検証してみた

はじめに 本日、2024/3/27に Gemini 1.5 Pro APIのアクセスが付与されました。 Gemini 1.5 Proとは、2024/2/15にGoogleが発表した最大で1Mトークン(100万トークン)を処理可能で、コストが低く、精度が良いとされる大規模言語モデルです。 先日、以下の記事に…

ChatGPT, Claude3, Gemini別に審査官による特許引用文献段落抽出の再現率を検証してみた

はじめに 近年、ChatGPT、Claude、Geminiなどの大規模言語モデルの性能が向上しています。 今回、過去の特許審査で引用された特許文献の記載箇所・段落を、これらのモデルがどの程度正確に抽出できるかを検証しました。 テスト対象 以下の引用文献の条件を満…