Patent Benzerlik Araştırması: Konu Modelleme ve Yapay Zeka

Konu modelleme, kosinüs benzerliği ve kelime gömmelerinin patent benzerlik araştırmasında nasıl kullanıldığını öğrenin, ücretsiz yenilik araştırmasını deneyin.

Patent Benzerlik Araştırması: Konu Modelleme ve Yapay Zeka

Patent benzerlik araştırması, bir patent belgesinin bir diğerine ne kadar yakın olduğunun yapay zeka ile ölçülmesidir; böylece en ilgili önceki teknik, uzun bir sonuç listesinin içinde kaybolmak yerine en üste çıkar. Birleşik Krallık Fikri Mülkiyet Ofisi'nin yapay zeka destekli önceki teknik araştırması üzerine yürüttüğü fizibilite çalışmasında Cardiff Üniversitesi araştırmacıları bu yöntemi ikinci bir teknikle, yani bulunan patentleri patent uzmanının göz atabileceği temalara ayıran konu modelleme ile birlikte ele almıştır. İki yöntem birlikte çok pratik bir soruya yanıt verir: bir patent sorgulama onlarca, hatta yüzlerce aday belge getirdiğinde bunların hepsi nasıl anlamlandırılır? Bu bölüm her iki yöntemin nasıl çalıştığını, sınırlarının nerede olduğunu ve bugün patent araştırması yapan herkes için ne anlama geldiğini açıklıyor.

Otomatik patent sınıflandırmayı anlatan önceki bölümde yapay zekanın belgeleri IPC alt sınıflarına nasıl atadığını görmüştük. Konu modelleme ve belge benzerliği, sınıflandırmanın bittiği yerde, yani baştan sona okunamayacak kadar büyük kalan bir alt sınıfın içinde devreye girer.

Arama ve Göz Atma: Önceki Tekniği Keşfetmenin İki Yolu

Çalışma basit bir gözlemle başlar. Büyük hacimli metinlerde yol almanın temelde iki farklı yolu vardır ve her biri farklı bir amaca hizmet eder:

  • Arama, ne aradığı konusunda oldukça net bir fikri olan ve ona doğrudan ulaşmak isteyen kişiye uygundur.
  • Göz atma, daha serbest bir keşif yapan ve aramayı baştan aklına bile getirmediği bilgilerle karşılaşmayı uman kişiye uygundur.

Patent çalışmalarında bu ayrım çok önemlidir. Göz atma, araştırmacıların önceki tekniğin "fırsatçı keşfi" olarak adlandırdığı yaklaşımı destekler; bu yaklaşım özellikle arama terimlerini baştan net biçimde tanımlamanın zor olduğu durumlarda işe yarar. Yeni bir teknolojinin çoğu zaman henüz yerleşmiş bir terminolojisi yoktur ve buluş sahibi fikrini, daha önceki hiçbir patentin kullanmadığı sözcüklerle anlatabilir.

Ancak göz atma, yalnızca belgeler önceden anlamlı gruplara ayrılmışsa işe yarar.

IPC Sınıfları Göz Atma İçin Neden Tek Başına Yetmez?

Bu gruplar için akla ilk gelen aday Uluslararası Patent Sınıflandırması'dır, çünkü her patent zaten IPC kodları taşır. Pratikteki sorun büyüklüktür. Her IPC kategorisi oldukça geniş olduğundan, bir kategorinin içindeki her belgeyi elle incelemek bir patent uzmanı için gerçekçi değildir.

Araştırmacıların istediği, tek bir IPC alt sınıfının içinde daha ince ayrıntılı bir göz atma imkanıydı. Bunun için alt sınıfın içinde daha küçük temalara ve bu temaları otomatik olarak keşfedecek bir yönteme ihtiyaç vardır, çünkü bu temaları önceden kimse etiketlememiştir.

Türkiye'de de patent belgeleri IPC kodlarıyla yayımlanır; başvuru ve sorgulama işlemleri için TÜRKPATENT'in resmi sistemi EPATS kullanılır. Dolayısıyla aynı büyüklük sorunu Türkçe patent sorgulama yapanlar için de geçerlidir.

LDA Konu Modelleme Patentleri Temalara Nasıl Ayırır?

Ekip bu temaları bulmak için, kısaca LDA olarak bilinen gizli Dirichlet ayrımı yöntemini kullanmıştır (Blei ve ark., 2003). LDA, konuların ne olduğu önceden söylenmeden, bir belge koleksiyonunda gizli duran soyut konuları keşfetmek üzere tasarlanmıştır.

Bu tekniği patent çalışmalarına uygun kılan üç özellik vardır:

  • Her konunun anahtar kelimeleri vardır. Bir konu, onu diğer konulardan en iyi ayıran anahtar kelime kümesiyle tanımlanır.
  • Anahtar kelimeler konuları okunabilir kılar. Patent uzmanı anahtar kelimelere bakarak o konuyla ilişkilendirilen belgelerin ilgili olup olmadığına, her birini tek tek okumadan hızla karar verebilir.
  • Bir belge birden fazla konuya ait olabilir. Bu özellik, bir buluş aynı anda birkaç farklı teknik yöne dokunduğunda çok işe yarar.

Basit bir örnek verelim: elektrikli bisikletle ilgili bir patent, hem batarya montajını anlatan bir konuda hem de kadro tasarımını anlatan başka bir konuda yer alabilir.

Yapay zeka destekli araştırmayı okumak yerine uygulamada görmek isterseniz, kendi fikriniz için ücretsiz yapay zeka destekli yenilik araştırmasını deneyebilir ve buluşunuza en yakın önceki tekniği inceleyebilirsiniz.

Model Ayarı: Tek Bir Ayar Her Sınıfa Uymaz

LDA'dan yararlı sonuç almak, algoritmayı bir kez çalıştırmakla olmaz. Ortaya çıkan konuların ne kadar faydalı olacağını birkaç parametre belirler:

  • Belirlenecek konu sayısı
  • Her konuyu tanımlayan anahtar kelime sayısı
  • Eğitim yineleme sayısı
  • En düşük olasılık eşikleri

Bu seçimlerin gerçek sonuçları olduğu için araştırmacılar, doğrulama verileri üzerinde bir dizi sistematik konu modelleme deneyi yürütmüştür. Amaç, hepsi için tek bir genel yapılandırmaya güvenmek yerine her IPC kategorisine özel en uygun parametre ayarlarını bulmaktı.

Dürüst Bir Sınır: Konuları Değerlendirmek Zordur

Konu modelleme gözetimsiz bir tekniktir ve bu durum onu değerlendirmeyi bir hayli zorlaştırır. Gözetimli sınıflandırmada tahminler bilinen doğru yanıtlarla karşılaştırılabilir. Konu modellemede ise bir yanıt anahtarı yoktur ve algoritmanın ürettiği konuların bir insana tutarlı görüneceğinin yerleşik bir garantisi de yoktur.

Alandaki araştırmacılar bunu sayısal olarak ifade etmek için konu tutarlılığı ölçütleri geliştirmiştir (Röder ve ark., 2015). Cardiff ekibi bu yerleşik ölçütleri kullanmış, ardından bir adım daha ileri giderek yorumlanabilirliği doğrudan ölçmek için kendi ek yöntemini önermiştir. Nedeni kolayca anlaşılır. Yapılan iş gerçek patent başvurularının ön elemesi olduğunda, arkasındaki matematik ne kadar zarif olursa olsun, bir insanın yorumlayamadığı konunun pek bir faydası yoktur.

Belge Benzerliği: Başvuruyu Önceki Patentlerle Karşılaştırmak

Çalışma, konu modellemenin yanı sıra belge benzerliğini doğrudan ölçmeye dayanan daha geleneksel bir bilgi erişim yaklaşımını da incelemiştir.

Klasik bir araştırmada patent uzmanı önce buluşu uygun arama terimlerine dönüştürür, ardından sistem eşleşen belgeleri veri tabanından verimli biçimde getirir. Belge benzerliği ise kestirme bir yol izler. Buluş, incelenen patent başvurusunda zaten ayrıntılı olarak anlatılmıştır; dolayısıyla başvurunun kendisi daha önce yapılmış patent başvurularıyla doğrudan karşılaştırılarak en yakın eşleşmeler ortaya çıkarılabilir.

Patent ofisleri bu fikri o günden bugüne günlük uygulamaya da taşımıştır. Örneğin USPTO, 2022 yılında uzmanlarının kullanımına yapay zeka tabanlı bir Benzerlik Araması (Similarity Search) aracı sunmuştur; araç incelenen başvurunun metnini alır ve benzer belgelerin sıralı bir listesini verir.

Vektör Uzayı Modeli ve TF-IDF Ağırlıklandırması

Bu karşılaştırma geleneksel olarak vektör uzayı modeliyle yapılır. Her belge bir vektörle, yani uzun bir sayı listesiyle temsil edilir. Her koordinat tek bir kelimeye karşılık gelir ve değeri, o kelimenin belgede ne sıklıkla geçtiğini, koleksiyonun tamamındaki dağılımına oranla yansıtır.

Bu ağırlıklandırma, serinin önceki bölümlerinde tanıtılan TF-IDF ölçüsüdür (Spärck Jones, 1972). Bir patentte sık geçen ama başka yerlerde nadiren görülen bir kelime yüksek ağırlık alır, çünkü o belgeye özgü bir şey söyler. Her yerde geçen bir kelime ise düşük ağırlık alır.

Belgeler bu biçimde temsil edildikten sonra, iki belge vektörleri arasındaki uzaklık ya da benzerlik ölçülerek karşılaştırılabilir.

Kosinüs Benzerliği Neden En İyi Sonucu Verdi?

Araştırmacılar aşağıda özetlenen birkaç ölçütü denemiştir.

ÖlçütNeye bakar?Farklı uzunluktaki belgelerde davranışı
Jaccard benzerliğiİki belgedeki terim kümelerinin örtüşmesineBelgelerden biri çok daha fazla terim içerdiğinde örtüşme oranı düşer
Öklid uzaklığıİki vektör arasındaki düz çizgi uzaklığınaDuyarlıdır, çünkü uzun belgeler daha büyük vektörler üretir
Kosinüs benzerliğiİki vektör arasındaki açıyaDayanıklıdır, çünkü yalnızca yön önemlidir

Beklendiği gibi en iyi sonuçlar kosinüs benzerliğinden alınmıştır. Bu ölçüt iki vektörün büyüklüğünü değil yönelimini ölçer (Jurafsky ve Martin, 2008), bu da onu belge uzunluğundaki farklara karşı daha dayanıklı kılar. Bir tarifnamenin birkaç sayfa, bir diğerinin birkaç yüz sayfa tutabildiği patentlerde bu özellik önemlidir.

Tüm Belgeden Tek Bir Cümleye

Bu ölçütlerin tümü farklı ayrıntı düzeylerinde uygulanabilir: belgenin tamamı, tek tek bölümler, paragraflar, hatta tek tek cümleler.

Bu esneklik uygulamada önemlidir. Gerçek buluşların çoğu, önceki çalışmalarla hiçbir ilişkisi olmadan sıfırdan kurulmuş şeyler değil, mevcut çözümler üzerindeki kademeli iyileştirmelerdir. Bu nedenle belgeleri yalnızca bölünmemiş bütünler olarak karşılaştırmak yerine, yakından ilişkili fikirleri anlatan belirli paragrafları ya da cümleleri saptayabilmek önem kazanır.

Bununla birlikte kısa metinler teknik bir sorun yaratır. Bir başlık ya da tek bir cümle söz konusu olduğunda standart vektör uzayı modeli, boyut indirgeme uygulansa bile, boyut sayısının çokluğu nedeniyle metinleri birbirinden ayırt etmekte zorlanan seyrek özellik vektörleri üretir (Houle ve ark., 2010).

Araştırmacılar bu sorunu aşmak için kelime gömmelerini yeniden kullanarak cümlelerin anlamını kodlamıştır. En dolaysız yaklaşım, bütün bir cümleyi kelime gömmelerinin ağırlık merkeziyle, yani geometrik ortalamasıyla temsil etmek ve ardından iki cümlenin ağırlık merkezleri arasındaki uzaklığı ölçmektir.

Word Mover's Distance: Farklı Sözcükleri Buluşturmak

Çalışmada incelenen daha ince ayrıntılı bir ölçüt, kısaca WMD olarak anılan Word Mover's Distance, yani kelime taşıma mesafesidir (Kusner ve ark., 2015). Bu ölçüt, bir cümledeki kelimelerin ikinci bir cümlenin kelimelerine ulaşmak için gömme uzayında "kat etmesi" gereken en küçük toplam mesafeyi hesaplar. Başka bir deyişle, bir cümlenin anlamını diğerinin anlamına dönüştürmek için ne kadar kavramsal hareket gerektiğini tahmin eder.

Çalışma, İngilizce "extendible umbrella handle" (uzatılabilir şemsiye sapı) ve "parasol foot with retractable point" (geri çekilebilir uçlu güneş şemsiyesi ayağı) ifadeleriyle somut bir örnek verir. Yaygın etkisiz kelimeler çıkarıldıktan sonra mesafe, birbirine en yakın kelime çiftleri arasındaki uzaklıkların toplamıdır:

Birinci ifadedeki kelimeİkinci ifadedeki en yakın kelime
umbrella (şemsiye)parasol (güneş şemsiyesi)
extendible (uzatılabilir)retractable (geri çekilebilir)
handle (sap)foot (ayak)

İki ifade tek bir ortak kelime bile içermez, yine de yakından ilişkili kavramları anlatır. Yalnızca anahtar kelimeye dayanan bir arama bu bağlantıyı büyük olasılıkla tamamen kaçırırdı. Kelime gömmeleri tam da bu tür boşlukları kapatır.

Kendi Önceki Teknik Araştırmanız İçin Ne Anlama Geliyor?

Bu bulgulardan yararlanmak için LDA ya da Word Mover's Distance uygulamanız gerekmez. Öne çıkan dört pratik ders şunlardır:

  • Belgeleri bulmak işin yalnızca yarısıdır. Uzun bir sonuç listesinin, bir insan onu düzgünce inceleyebilsin diye önce temaya ya da benzerliğe göre düzenlenmesi gerekir.
  • Tam bir açıklama, anahtar kelime listesinden daha iyi sonuç verebilir. Benzerliğe dayalı araştırma buluşun kendi metninden yola çıkar; bu da doğru anahtar kelimeleri tahmin etmenin zor olduğu durumlarda yardımcı olur.
  • Yalnızca belgelere değil, pasajlara bakın. En ilgili önceki teknik çoğu zaman, ilk bakışta ilgisiz görünen bir patentin içindeki tek bir paragraftır.
  • İnsan değerlendirmesi sürecin içinde kalır. Araştırmacılar bile yorumlanabilirliği vurgular, çünkü sistemin gösterdiğini bir insanın anlayabilmesi ve ona güvenebilmesi gerekir.

Araştırma becerilerinizi geliştirme aşamasındaysanız, önceki teknik araştırması kaynaklarımız veri tabanlarını, sınıflandırmayı ve araştırma stratejisini adım adım anlatır.

Kendi Buluşunuz İçin Benzerlik Analizi

WOIPS Feature

Çalışma, tam tanımları karşılaştırmanın anahtar kelime listelerini eşleştirmekten daha iyi sonuç verdiğini gösterdi. WOIPS bu bulgu üzerine kurulmuştur.

Aramanız yalnızca birkaç anahtar kelimeden değil, buluşunuzun yapılandırılmış bir tanımından başlar. WOIPS aday patentleri ve patent dışı yayınları getirir, bunları ilgililik düzeyine göre sıralar ve ardından her belgeyi buluşunuzla karşılaştırarak nerede benzediğini ve nerede farklılaştığını gösterir.

Sonuç, uzun ve düzensiz bir liste yerine düzenli ve incelenebilir bir listedir; nihai değerlendirme ise size kalır. WOIPS'in belgeleri buluşunuzla nasıl karşılaştırdığını keşfedin.

Sıkça Sorulan Sorular

Patent araştırmasında konu modelleme nedir?
Konu modelleme, bir patent koleksiyonunu otomatik olarak temalara ayıran gözetimsiz bir yapay zeka tekniğidir. Her tema bir anahtar kelime kümesiyle tanımlanır; böylece araştırmacı hangi grupların okunmaya değer olduğuna hızla karar verebilir.

Patent belgelerini karşılaştırmak için neden kosinüs benzerliği kullanılır?
Kosinüs benzerliği iki belge vektörünün büyüklüğünü değil yönünü karşılaştırır. Bu sayede aynı konudaki kısa bir patent ile uzun bir patent yine de benzer olarak tanınabilir.

Word Mover's Distance nedir?
Word Mover's Distance, bir cümledeki kelimelerin başka bir cümlenin kelimeleriyle eşleşmek için kelime gömme uzayında ne kadar yol kat etmesi gerektiğini ölçer. İki metin hiç ortak kelime içermese bile ilişkili anlamı yakalayabilir.

Önceki teknik araştırması yapmak için bu teknikleri bilmem gerekir mi?
Hayır. Yapay zeka destekli araştırma araçları bu tür yöntemleri arka planda uygular. Siz buluşunuzu sade bir dille anlatır, ardından aracın en yakın bulduğu belgeleri incelersiniz.


This article is adapted from: UK Intellectual Property Office, AI-assisted patent prior art searching – feasibility study, April 2020, ISBN 978-1-910790-80-9, © Crown Copyright 2020, licensed under the Open Government Licence v3.0.