Birkaç ay önce Apple, doğal dilin işlenmesi ve yayınlanmasında son ilerlemeyi (NLP) sunan iki günlük bir etkinlik düzenledi. Bugün, şirket birden fazla olağanüstü yönü olan bir yayın yayınladı ve tüm çalışmalar sunuldu. Buraya toplama.
O Doğal Dil ve Etkileşimli Sistem Üzerine Çalıştayı 2025 15-16 Mayıs tarihleri arasında gerçekleştirildi ve NLP ile ilgili üç ana araştırma alanında tartışıldı ve yayınlandı:
- Etkileşimli konuşulan dil sistemi
- LLM Eğitim ve Hizalama
- Dil ajanı
Program sırasında üniversitelerden, enstitülerden, laboratuvarlardan ve araştırma gruplarından çok sayıda araştırmacı, AI, Imperial of Im London, MIT, Harvard Üniversitesi, Stanford Üniversitesi ve Princeton Üniversitesi dahil Allen Enstitüsü de dahil olmak üzere son çalışmalarını sundu.
Bu araştırmacıların bazıları, Microsoft, Amazon, Sony, Google, Gerginlik, Quor ve elbette Apple dahil olmak üzere sektörde de çalışıyor.
İşte tartışmanın bazı olağanüstü yönleri ve etkinlikte sunulan video ve makalelerin tam listesine bir bağlantı.
1) AI Model Breaking LLM’nin tanımlanması
Bunlar Yarin Gal tarafından sunulan iki çalışmadır, Oxford Üniversitesi Doçent ve Birleşik Krallık Araştırma Direktörü Yarin Gal tarafından sunulan iki çalışma idi.
Birincisi, AI modelinin çöküşünün bir sonucu olarak, Web’in LLM’nin eğitimi için etkili bir veri kaynağı olarak nasıl hizmet edeceği konusunda bir sınır vardır, çünkü bu modellerin geliştirilmiş kullanımı, çevrimiçi olarak yayınlanacak modellere maruz kalan daha fazla malzemeyi alacaktır.
LLM’nin bu ulusal sentetik verilerdeki eğitiminin düşme riski olabileceğini açıkladı, çünkü bilgilerini ve mantıksal güçlerini etkileyeceği için, maruz kalan materyaller ve AI insanlara eğilimli olarak ayrım yapmak için yeni ekiplerin geliştirilmesi ile düzeltilebilir.
İkinci araştırması LLM, halüsinasyonları tespit eder, LLM’deki güven düzeyini belirlemek için zarif bir yaklaşım sunar, çünkü herhangi bir yanıtın farklı bölümlerini üretir. Özetle, kavram birden fazla cevap üreten modeldir ve daha sonra bu yanıtlar semantik anlamla gruplanır. Bu, yanıtın ve yanıtın hassasiyet seviyesinin daha spesifik bir hesaplanmasına izin verecek ve daha uzun bir konuşmaya uyarlanabilen bir yapıdır.
2) Herizon Long Herizon tarafından Ajanlar için Öğrenme Takviyesi
Apple makinesi Kevin Chen’in öğrenme araştırmacısı tarafından sunulan konuşma, optimizasyon veya proksimal politika döngü lev-out adlı eğitimli bir ajan gösterdi.
Temsilci, bunun gibi göstergelere dayandığı için birden fazla adım görevi yapmak üzere eğitildi:
Son zamanlarda Maui’deki arkadaşları ziyaret ettim. Başkalarına ve başkalarına seyahatinden basit nota başkalarına bir not tuttum. Kişisel Venome ödemeleri veya istekleri oluşturun. Ödemek/talep etmek için “Maui gezisi için” not ekleyin. ‘
Konuşmanın ilk yarısında Chen, bu çalışma birden fazla çerçeve ve bilgi bağımlılığı içerdiğinden, hiçbir ajanın istenen şeyi yapamayacağını göstermiştir. Bununla birlikte, kendi geçmiş faaliyetlerinden tekrar tekrar öğrendiği ve ödülünü en üst düzeye çıkarmak için oluşturduğu ve gözlemlenen döngü ile, talep düşük hatalar ve varsayımlarla yapıldı.
Chen ayrıca modelin 24 farklı durumda eğitildiğini, ancak birden fazla parçanın etkileşimi gibi sınırlamaları olduğunu açıkladı.
3) Şanzıman varsayım: Yararlı modeller olmadan hızlı LLM varsayımları
Apple Mühendislik Müdürü ve Irina Bellosova Teknik Lideri’nden oluşan bu konuşma, kod çözmeyi tahmin etmenin faydalarını göstererek, daha büyük modeller tarafından üretilen kadar yüksek olan küçük bir modelle yanıtlar üretmenin ayrılmaz bir yoluna izin verdi.
Özetle, küçük modeller, daha sonra büyük bir model tarafından yönetilen yanıtlar için aday dizisini oluşturur. Model cevabı kabul ederse, işiniz bitti. Düşük bellek kullanımı için benzer modellerden daha hızlı performans ve daha az parametre sağlar.
Buna ek olarak, “Bu yöntem, varsayımlar sırasında birden fazla modelde yönetim, hizalama ve değişimin karmaşıklığını ortadan kaldırarak uygulamayı basitleştirir”, bu da basit bir altyapı anlamına gelir.
Bu özel çalışma, doğrulama gibi birçok teknik detayı sunmaktadır. Sunum 8 dakikadan fazla sürer, ancak çok çekici bir vizyon verir.
buraya tıklayın Apple’daki olağanüstü videoları doğrulamak ve etkinlik çalışmalarının tam listesine bakın.