Ağ & NetworkOrta

Azure Üzerinde Hibrit AI Pipelines ile Otomatik Belge Çıkarımı için Adım Adım Kılavuz

Azure üzerinde hibrit AI pipeline kullanarak karmaşık belgelerden veri çıkarımını otomatikleştirin. Deterministik modeller ve generatif AI kombinasyonuyla hassasiyet ve maliyet dengesi sağlayın.

4
4sysops
6 görüntülenme
Azure Üzerinde Hibrit AI Pipelines ile Otomatik Belge Çıkarımı için Adım Adım Kılavuz

Giriş

Günümüzde işletmeler, inşaat çizimleri, sözleşmeler ve diğer karmaşık belgelerden veri çıkarmak için manuel süreçlere bağımlı kalmaktadır. Bu süreçler zaman alıcı, hata eğilimli ve maliyetlidir. Microsoft, Azure platformunda hibrit bir AI mimarisi sunarak bu soruna çözüm getirmektedir. Bu mimari, deterministik modeller ile generatif AI'yı birleştirerek hem yüksek hassasiyet hem de maliyet etkinliği sağlamayı hedeflemektedir. Bu makalede, hibrit AI pipeline'ın nasıl kurulacağı, bileşenleri ve uygulama adımları detaylı olarak ele alınacaktır.

Sorun Tanımı

Karmaşık belgelerden veri çıkarımı aşağıdaki zorlukları içermektedir:

  1. Veri Çeşitliliği: Belgelerdeki formatlar, şablonlar ve içerikler büyük ölçüde farklılık gösterebilir. Örneğin, bir inşaat çiziminde mimari detaylar, malzeme listeleri ve teknik özellikler bulunabilirken, bir sözleşmede hukuki terimler ve imzalar yer alabilir.
  2. Manuel Süreçlerin Zorluğu: Geleneksel yöntemlerle belge incelemesi ve veri çıkarımı, insan kaynaklarının yoğun kullanımını gerektirir. Bu da hem zaman hem de maliyet açısından verimsizdir.
  3. Hata Riski: İnsan müdahalesi, veri kayıplarına, yanlış okumalara ve tutarsızlıklara yol açabilir. Özellikle büyük hacimli belgelerde bu riskler katlanarak artmaktadır.
  4. Maliyet ve Ölçeklenebilirlik: Manuel süreçler, ölçeklendirilemez ve genellikle yüksek maliyetlidir. Özellikle çok sayıda belge işlendiğinde, maliyetler hızla artmaktadır.

Çözüm: Hibrit AI Pipeline Mimarisi

Microsoft'un önerdiği hibrit AI pipeline, deterministik modeller ve generatif AI'nın birleşiminden oluşmaktadır. Bu yaklaşımın temel amacı, hem yüksek hassasiyet hem de maliyet etkinliği sağlamaktır. Aşağıdaki bileşenlerden oluşmaktadır:

1. Deterministik Modeller

Deterministik modeller, yapılandırılmış verilerin çıkarımında kullanılır. Bu modeller, önceden tanımlanmış kurallara ve şablonlara dayanarak çalışır. Örneğin, bir inşaat çizimindeki ölçüleri veya bir sözleşmedeki imza alanlarını tanımlamak için kullanılabilir. Bu modeller, yüksek hassasiyet ve düşük maliyet avantajına sahiptir.

# Örnek: Deterministik model ile belge alanlarının çıkarımı (Python)
from azure.ai.formrecognizer import DocumentAnalysisClient
from azure.core.credentials import AzureKeyCredential

endpoint = "https://.cognitiveservices.azure.com/"
key = ""

document_analysis_client = DocumentAnalysisClient(endpoint=endpoint, credential=AzureKeyCredential(key))

with open(".pdf", "rb") as f:
    poller = document_analysis_client.begin_analyze_document("prebuilt-layout", f)
    result = poller.result()

for page in result.pages:
    for line in page.lines:
        print(line.content)

2. Generatif AI Modelleri

Generatif AI modelleri, yapılandırılmamış veya yarı-yapılandırılmış verilerin çıkarımında kullanılır. Bu modeller, doğal dil işleme (NLP) ve makine öğrenmesi tekniklerini kullanarak belgelerdeki içerikleri anlamlandırır. Örneğin, bir sözleşmedeki hukuki terimlerin veya bir raporun özetinin çıkarılmasında kullanılabilir. Generatif AI, esneklik ve adaptasyon yeteneği sağlar.

# Örnek: Generatif AI ile belge özetinin çıkarımı (Python)
from transformers import pipeline

summarizer = pipeline("summarization", model="facebook/bart-large-cnn")

with open(".txt", "r", encoding="utf-8") as f:
    document_text = f.read()

summary = summarizer(document_text, max_length=130, min_length=30, do_sample=False)
print(summary[0]['summary_text'])

3. Azure Cognitive Services Entegrasyonu

Azure Cognitive Services, AI tabanlı hizmetler sunarak hibrit pipeline'ın temelini oluşturur. Bu hizmetler, belge analizi, metin anlama ve dil işleme gibi çeşitli görevleri destekler. Azure'un sunduğu hizmetler arasında:

  • Azure Form Recognizer: Belgelerden yapılandırılmış verilerin çıkarımını otomatikleştirir.
  • Azure Cognitive Search: Belgelerin indekslenmesi ve aranabilir hale getirilmesini sağlar.
  • Azure OpenAI Service: Generatif AI modellerinin kullanımını kolaylaştırır.

Adım Adım Uygulama

Adım 1: Azure Hizmetlerinin Kurulumu

  1. Azure Portal'a giriş yapın: https://portal.azure.com adresine gidin ve Azure hesabınızla giriş yapın.
  2. Cognitive Services oluşturun:
    1. Azure Portal'da "Create a resource" seçeneğine tıklayın.
    2. Arama çubuğuna "Cognitive Services" yazın ve hizmeti seçin.
    3. Gerekli bilgileri doldurarak hizmeti oluşturun. Bu hizmetler arasında Form Recognizer ve OpenAI Service yer almalıdır.
  3. API anahtarlarını alın: Oluşturulan hizmetlerin API anahtarlarını ve uç noktalarını alın. Bu bilgiler, pipeline'ın diğer bileşenlerinde kullanılacaktır.

Adım 2: Belge Hazırlığı ve Ön İşleme

  1. Belgelerin toplanması: İşlenecek belgelerin dijital kopyalarını toplayın. Belgelerin PDF, DOCX veya görüntü formatlarında olması tercih edilir.
  2. Ön işleme: Belgelerin kalitesini artırmak için ön işleme adımları uygulayın. Örneğin:
    • Belgelerin netliği ve okunabilirliği artırılabilir.
    • Belgelerdeki gürültü ve istenmeyen unsurlar temizlenebilir.

Adım 3: Deterministik Model ile Veri Çıkarımı

  1. Form Recognizer kullanımı: Azure Form Recognizer'ı kullanarak belgelerden yapılandırılmış verileri çıkarabilirsiniz. Örneğin, bir inşaat çiziminden ölçüleri veya bir fatura formundan fiyat bilgilerini çıkarabilirsiniz. 
    # Örnek: Form Recognizer ile belge analizi
from azure.ai.formrecognizer import DocumentAnalysisClient
from azure.core.credentials import AzureKeyCredential

endpoint = "https://.cognitiveservices.azure.com/"
key = ""

document_analysis_client = DocumentAnalysisClient(endpoint=endpoint, credential=AzureKeyCredential(key))

with open("construction-drawing.pdf", "rb") as f:
    poller = document_analysis_client.begin_analyze_document("prebuilt-layout", f)
    result = poller.result()

for table in result.tables:
    print(f"Tablo {table.row_count}x{table.column_count}:")
    for cell in table.cells:
        print(f"{cell.row_index},{cell.column_index}: {cell.content}")
  2. Özel modellerin eğitilmesi: Eğer belgeleriniz standart formlardan farklıysa, Azure Form Recognizer'da özel modeller eğitebilirsiniz. Bu modeller, belgelerinizin yapısına özgü olarak veri çıkarımı yapabilir.

Adım 4: Generatif AI ile Veri Çıkarımı

  1. OpenAI Service kullanımı: Azure OpenAI Service'ı kullanarak belgelerdeki içerikleri analiz edebilirsiniz. Örneğin, bir sözleşmedeki hukuki terimlerin tanımlanması veya bir raporun özetinin çıkarılması için kullanılabilir. 
    # Örnek: OpenAI Service ile metin analizi
import openai

openai.api_key = ""
openai.api_base = "https://.openai.azure.com"
openai.api_type = "azure"
openai.api_version = "2023-05-15"

response = openai.Completion.create(
    engine="text-davinci-003",
    prompt="Extract key clauses from the following contract:\n\n",
    max_tokens=150
)

print(response.choices[0].text)
  2. NLP tekniklerinin kullanımı: Azure Cognitive Search gibi hizmetleri kullanarak belgelerdeki anahtar kelimeleri ve ilişkileri tanımlayabilirsiniz. Bu, belgelerin daha anlamlı bir şekilde indekslenmesini ve aranabilir hale getirilmesini sağlar.

Adım 5: Pipeline'ın Entegrasyonu ve Otomasyonu

  1. Azure Logic Apps kullanımı: Azure Logic Apps'ı kullanarak pipeline'ın farklı bileşenlerini birbirine bağlayabilirsiniz. Bu, iş akışlarının otomatikleştirilmesini ve belgelerin sırayla işlenmesini sağlar. 
    # Örnek: Azure Logic Apps ile pipeline entegrasyonu
# Logic Apps tasarımında aşağıdaki adımlar yer alabilir:
# 1. Belge yüklenmesi tetikleyici olarak ayarlanır.
# 2. Form Recognizer ile belge analizi gerçekleştirilir.
# 3. Generatif AI ile içerik analizi yapılır.
# 4. Sonuçlar bir veri tabanına veya depolama alanına kaydedilir.
  2. Azure Functions kullanımı: Azure Functions'ı kullanarak özel iş mantığına sahip fonksiyonlar oluşturabilirsiniz. Örneğin, belirli bir belge türü için özel bir iş akışı tanımlayabilirsiniz. 
    # Örnek: Azure Functions ile belge işleme
import azure.functions as func
import logging

app = func.FunctionApp()

@app.route(route="process_document", methods=["POST"])
def process_document(req: func.HttpRequest) -> func.HttpResponse:
    logging.info('Python HTTP trigger function processed a request.')
    
    # Belgeyi analiz et ve sonuçları döndür
    return func.HttpResponse("Belge başarıyla işlendi.")

İpuçları ve Uyarılar

İpucu 1: Pipeline'ın performansını artırmak için belgelerin kalitesine dikkat edin. Düşük kaliteli belgeler, AI modellerinin doğruluğunu olumsuz etkileyebilir. Belgeleri tararken yüksek çözünürlüklü ve net görüntüler kullanın.

Uyarı 1: Generatif AI modelleri, hassas verilerin çıkarımında kullanılmadan önce gizlilik ve güvenlik politikalarını gözden geçirin. Özellikle hukuki veya tıbbi belgeler gibi hassas içerikler için uygun güvenlik önlemleri alın.

İpucu 2: Pipeline'ın maliyetini optimize etmek için Azure'un fiyatlandırma modellerini inceleyin. Deterministik modeller genellikle daha ucuzken, generatif AI modelleri daha fazla maliyet gerektirebilir. Maliyetleri dengelemek için hangi modelin hangi belgelerde kullanılacağına karar verin.

Sonuç

Hibrit AI pipeline, karmaşık belgelerden veri çıkarımını otomatikleştirmenin etkili bir yolunu sunmaktadır. Deterministik modeller ve generatif AI'nın birleşimi, hem yüksek hassasiyet hem de maliyet etkinliği sağlamaktadır. Azure platformunda bu pipeline'ı kurmak, manuel süreçleri ortadan kaldırarak verimliliği artırabilir ve insan hatalarını minimize edebilir. Bu makalede açıklanan adımları takip ederek, kendi hibrit AI pipeline'ınızı oluşturabilir ve belge işleme süreçlerinizi modernize edebilirsiniz.

İleri Okuma

Bu konuyla ilgili daha fazla bilgi edinmek için aşağıdaki kaynaklara göz atabilirsiniz:

Kaynak

4sysops
İlgili Makaleler