LinkedIn, 1,3 Milyar Kullanıcı Ölçeğinde Beş Besleme Alma Sistemini Tek Bir LLM Modeliyle Nasıl Değiştirdi
LinkedIn'in beslemesi 1,3 milyardan fazla üyeye ulaşıyor ve arkasındaki mimari bu hıza ayak uyduramıyordu. Sistem, kullanıcıların görmek isteyebileceği farklı içerik dilimlerini sunan, her biri kendi altyapısı ve optimizasyon mantığına sahip beş ayrı alma hattı biriktirmişti. Şirketin mühendisleri geçen yıl bunu parçalayarak tek bir LLM tabanlı sistemle değiştirdi. LinkedIn'e göre sonuç, profesyonel bağlamı daha hassas anlayan ve ölçeklendirmede daha az maliyetli bir besleme oldu.
Yeniden tasarım, içeriğin nasıl alındığı, nasıl sıralandığı ve temel hesaplamanın nasıl yönetildiği olmak üzere yığının üç katmanını etkiledi. LinkedIn mühendislik başkan yardımcısı Tim Jurka, VentureBeat'e verdiği röportajda, ekip olarak geçen yıl yüzlerce test yaptıklarını ve altyapının büyük bir kısmını yeniden icat eden bir dönüm noktasına ulaştıklarını söyledi. Jurka, "İçerik alma sistemimizin tamamından başlayarak, LinkedIn'deki içeriği çok daha zengin şekilde anlamak ve üyelerle çok daha kişiselleştirilmiş şekilde eşleştirmek için gerçekten büyük ölçekli LLM'lere geçtik" dedi.
LinkedIn'in temel zorluğu iki yönlüydü: Üyelerin belirttiği profesyonel ilgi alanlarını - unvan, beceriler, sektör gibi - zaman içinde gerçek davranışlarıyla eşleştirmek ve üyelerin doğrudan ağlarının paylaşımlarının ötesinde içerik sunmak zorundaydı. Bu iki sinyal çoğu zaman farklı yönlere çekiyordu. İnsanlar LinkedIn'i farklı şekillerde kullanıyor; bazıları sektörlerindeki kişilerle bağlantı kurmayı, bazıları düşünce liderliğini önceliklendiriyor, iş arayanlar ve işe alımcılar ise aday bulmak için kullanıyor.
LinkedIn, 15 yılı aşkın süredir yapay zeka destekli öneri sistemleri geliştiriyor. Şirketin beslemesi, kullanıcıya sunulan içeriğin çeşitli kaynaklardan geldiği heterojen bir mimari üzerine kuruluydu. Bu kaynaklar arasında kullanıcının ağının kronolojik indeksi, coğrafi trend konuları, ilgi alanına dayalı filtreleme, sektöre özel içerik ve diğer gömme tabanlı sistemler bulunuyordu. Ancak her kaynak kendi altyapısı ve optimizasyon stratejisine sahip olduğundan bakım maliyetleri yükselmişti. Jurka, LLM'lerle yeni öneri algoritmasını ölçeklendirmek için besleme çevresindeki mimarinin de güncellenmesi gerektiğini belirtti.
LinkedIn, LLM'lerin işleyebilmesi için verilerini metne dönüştürme konusunda zorluklarla karşılaştı. Bu amaçla şablonlu diziler oluşturmayı sağlayan bir prompt kütüphanesi geliştirdi. Gönderiler için format, yazar bilgisi, etkileşim sayıları, makale meta verileri ve gönderi metni dikkate alındı. Üyeler için ise profil bilgileri, beceriler, iş geçmişi, eğitim ve önceki etkileşimlerin kronolojik sıralaması dahil edildi. Testler sırasında LLM'lerin sayıları metin olarak algılaması ve popülerlik sinyalini yitirmesi önemli bir sorun oldu. Bu sorunu çözmek için etkileşim sayıları yüzdelik dilimlere ayrılarak özel tokenlarla işaretlendi ve modelin bu verileri metinden ayırması sağlandı. Bu müdahale, gönderilerin erişim ağırlığını anlamada anlamlı iyileşme getirdi.
