Jira’daki destek taleplerini aylarca izlediğimde bir örüntü dikkatimi çekti: farklı kelimelerle yazılmış onlarca talep, aslında aynı avuç dolusu kalıp soruna karşılık geliyordu. Bu gözlem, LLM destekli bir ön sınıflandırma sistemi kurma fikrinin çıkış noktası oldu.
Manuel Triajın Gizli Maliyeti
Her yeni talebi doğru kategoriye, doğru öncelikte, doğru ekibe yönlendirmek — ölçek büyüdükçe bu “triaj” süreci başlı başına bir tam zamanlı iş haline gelebiliyor. Üstelik insan triajı tutarsızlık taşıyor: aynı sorunu iki farklı kişi farklı önceliklendirebiliyor.
Kurduğum Mimari
Yakalama katmanında n8n, Jira webhook’u ile yeni bir talep açıldığında devreye giriyor. Talep başlığı ve açıklaması bir dil modeline gönderiliyor; model önceden tanımlanmış kategorilerden (donanım, yazılım, erişim, ağ vb.) birini ve tahmini önceliği döndürüyor. Ardından bilgi bankasındaki benzer geçmiş çözümler taranarak bir taslak yanıt önerisi hazırlanıyor. Son adım her zaman insanda: destek personeli öneriyi gözden geçirip onaylıyor veya düzenliyor — tam otomatik yanıt değil.
Neden Tam Otomatik Yanıtlamayı Tercih Etmiyorum
Yanlış bir otomatik yanıtın (örn. hatalı bir yetkilendirme talimatı) maliyeti, sınıflandırmadan kazanılan zamandan çok daha yüksek olabilir. Bunun yerine insanın karar verme sürecini hızlandıran bir asistan modeli kuruyorum; nihai kararı hep insanda bırakıyorum.
Neyi Ölçtüm
Sistemi devreye aldıktan sonra üç metriği takip ettim: ortalama ilk yanıt süresi, yanlış yönlendirilen talep oranı, tekrar açılan talep sayısı. En büyük iyileşme “hangi ekibe gitmeli” sorusundaki tutarlılıkta oldu — model, insan triajından daha tutarlı kategori ataması yapıyor.
İki Zorluk
“Bilgisayarım çalışmıyor” gibi aşırı genel ifadeler modelin de insan kadar zorlandığı senaryolar; bu durumlarda sistem “ek bilgi gerekiyor” diyerek işi insana devrediyor. Bir de zamanla kategori kayması yaşanıyor — yeni bir uygulama devreye girdiğinde önceden tanımlanmamış bir kategori ortaya çıkabiliyor, bu yüzden kategori listesini periyodik gözden geçirmek gerekiyor.
Küçük bir pilotla başlayıp doğruluk oranını gözlemleyerek kademeli genişletmek, bu tür projelerde bana en güvenli gelen yol oldu. Seviye-1 desteği “insan yerine geçen” değil “insanı hızlandıran” bir katman olarak kurguladığınızda, gerçek değer orada ortaya çıkıyor.