Jira’daki destek taleplerini aylarca analiz ettiğimde çarpıcı bir örüntü fark ettim: taleplerin büyük bir kısmı, farklı kelimelerle yazılmış olsa da aslında aynı birkaç kalıp soruna karşılık geliyordu. Bu gözlem, LLM destekli bir ön sınıflandırma sistemi kurma fikrinin çıkış noktası oldu.
Problem: Manuel Triaj’ın Maliyeti
Her yeni talebi doğru kategoriye, doğru öncelikte, doğru ekibe yönlendirmek — bu “triaj” süreci, ölçek büyüdükçe başlı başına bir tam zamanlı iş haline gelebiliyor. Üstelik insan triajı tutarsızlık taşıyor: aynı sorunu iki farklı kişi farklı önceliklendirebiliyor.
Mimari Yaklaşım
- Yakalama: n8n üzerinden Jira webhook’u ile yeni talep açıldığında tetiklenen bir iş akışı
- Sınıflandırma: Talep başlığı ve açıklaması bir dil modeline gönderilir; model önceden tanımlanmış kategorilerden (donanım, yazılım, erişim, ağ vb.) birini ve tahmini önceliği döner
- Ön Yanıt Önerisi: Bilgi bankasındaki benzer geçmiş çözümler taranarak bir taslak yanıt önerisi oluşturulur
- İnsan Onayı: Destek personeli öneriyi gözden geçirip onaylar veya düzenler — tam otomatik yanıt DEĞİL
Neden “İnsan Onaylı” Yaklaşım?
Kurumsal ortamda tam otomatik yanıtlamayı bilinçli olarak tercih etmiyorum. Yanlış bir otomatik yanıtın (örn. yanlış bir yetkilendirme talimatı) maliyeti, sınıflandırmadan kazanılan zamandan çok daha yüksek olabilir. Bunun yerine, insanın karar verme sürecini hızlandıran bir asistan modeli kuruyorum.
Ölçülebilir Etki
Bu sistemi devreye aldıktan sonra takip ettiğim metrikler: ortalama ilk yanıt süresi, yanlış yönlendirilen talep oranı ve tekrar açılan (aynı sorun için ikinci kez gelen) talep sayısı. En büyük iyileşmeyi, “hangi ekibe gitmeli” sorusundaki tutarlılıkta gördüm — model, insan triajından daha tutarlı kategori ataması yapıyor.
Karşılaşılan Zorluklar
- Belirsiz talepler: “Bilgisayarım çalışmıyor” gibi çok genel ifadeler, modelin de insan kadar zorlandığı senaryolar — bu durumlarda sistem “ek bilgi gerekiyor” olarak işaretleyip insana devrediyor
- Kategori kayması zamanla: Yeni bir sistem devreye girdiğinde (örn. yeni bir uygulama), önceden tanımlanmamış bir kategori ortaya çıkabiliyor — kategori listesini periyodik gözden geçirmek gerekiyor
Sonuç
LLM destekli triaj, seviye-1 desteği “insan yerine geçen” değil “insanı hızlandıran” bir katman olarak kurgulandığında gerçek değer üretiyor. Küçük bir pilot ile başlayıp, doğruluk oranını gözlemleyerek kademeli genişletmek, bu tür projelerde izlediğim en güvenli yol.