Büyük Modellerin Finans Sektöründeki Uygulama Durumu ve Beklentileri

ChatGPT'nin piyasaya sürülmesinden bu yana, finans sektöründeki yapay zeka teknolojisine duyulan kaygı hızla yayıldı. Bir sektör uzmanı, bu yıl Mayıs ayında Dali'de iş seyahatinde bulunduğunda, hatta tapınakta büyük modelleri tartışan finans profesyonelleriyle karşılaştığını belirtti.

Ancak, bu kaygı giderek azalıyor ve sektör büyük modeller hakkında daha mantıklı bir bakış açısına sahip oluyor. SoftTech Bankacılık CTO'su Sun Hongjun, bu yıl finans sektörünün büyük modellere yönelik tutumunu birkaç aşamada tanımladı: 2-3. aylarda genel olarak kaygı hissediliyordu; 4-5. aylarda ilgili çalışmalar yürütmek için ekipler oluşturuluyordu; sonraki birkaç ay yön bulma ve uygulama aşamasında zorluklarla karşılaşıldı, mantıklı hale gelinmeye başlandı; şimdi ise referans alınarak, doğrulanmış uygulama senaryolarını denemeye çalışıyorlar.

Dikkat çekici bir şekilde, birçok finans kurumu büyük modelleri stratejik bir seviyeye yükseltmiştir. Tam bir istatistik olmasa da, A-hisse senedi borsasında en az 11 banka, en son altı aylık raporlarında büyük modellerin uygulanmasını keşfettiklerini açıkça belirtmiştir. Son dönemdeki gelişmelere bakıldığında, stratejik ve üst düzey tasarım açısından daha net düşünme ve yol haritası planlama sürecine girdikleri görülmektedir.

Heyecandan Mantıklı Geri Dönüşe

Büyük bir teknoloji şirketinin finans sektöründeki kıdemli bir yetkilisi, birkaç ay önceye kıyasla, finansal müşterilerin büyük modelleri anlama düzeyinin belirgin şekilde arttığını belirtti. Yılın başında ChatGPT yeni piyasaya sürüldüğünde, heyecan çok yüksekti, ancak büyük modellerin doğası ve uygulama yöntemleri hakkında sınırlı bir anlayış vardı.

Bu aşamada, bazı büyük bankalar öncü oldu ve çeşitli tanıtımlar yapmaya başladı. Örneğin, bu yıl Mart ayında bir büyük banka, ChatGPT benzeri bir büyük model uygulamasını devreye aldı, ancak sektördeki değerlendirmeler karışık oldu. O zaman bazıları, bu uygulamanın adlandırılmasının sohbet işlevine fazla vurgu yaptığını ve daha önemli olan GPT kısmını ihmal ettiğini düşündü.

Birçok teknoloji şirketinin büyük modelleri peş peşe tanıtmaya başlamasıyla, bazı önde gelen finans kurumlarının teknik departmanları büyük model inşasıyla ilgili olarak büyük teknoloji şirketleriyle aktif olarak görüşmelere başladı. Söz konusu kıdemli kişiler, bu finans kurumlarının genel olarak büyük modelleri kendi kendilerine geliştirmek istediklerini, veri seti oluşturma, sunucu yapılandırması ve eğitim yöntemleri gibi konularda rehberlik aradıklarını belirtti. Bir büyük bankanın finansal teknoloji şirketi, hatta ilgili yetenekleri diğer şirketlere iletme umudunu dile getirdi.

Mayıs'tan sonra durum değişmeye başladı. Hesaplama gücü kaynaklarının kıtlığı, yüksek maliyetler gibi faktörlerin etkisiyle, birçok finans kurumu sadece kendi hesaplama gücünü ve modellerini inşa etme umudundan, uygulama değerine daha fazla odaklanmaya yöneldi. "Şu anda her finans kurumu, diğer kurumların büyük modelleri nasıl uyguladıkları ve elde ettikleri sonuçlara dikkat ediyor."

Farklı büyüklükteki işletmeler için iki farklı gelişim yolu oluşmuştur. Büyük finansal kuruluşlar, geniş veri ve uygulama senaryolarına sahip olarak, sektördeki lider temel büyük modelleri kullanabilir, kendi kurumsal büyük modellerini oluşturabilir ve aynı zamanda ince ayar yöntemiyle uzmanlık alanlarına yönelik görev büyük modelleri geliştirebilir, böylece işlerini hızlı bir şekilde güçlendirebilirler. Küçük ve orta ölçekli finansal kuruluşlar ise yatırım geri dönüşünü dikkate alarak, ihtiyaçlarına göre çeşitli büyük model kamu bulut API'lerini veya özel dağıtım hizmetlerini kullanarak doğrudan iş gereksinimlerini karşılayabilirler.

Ancak, finans sektörünün veri uyumluluğu, güvenliği ve güvenilirliği gibi gereksinimlerinin yüksek olması nedeniyle, bazı kişiler bu sektörde büyük modellerin uygulanmasının, yılın başındaki beklentilerin biraz gerisinde kaldığını düşünüyor. Softtech'ten Sun Hongjun, başlangıçta finans sektörünün büyük modelleri en önce geniş çapta kullanacağını öngördüklerini, ancak nihai müşteri entegrasyonuna bakıldığında, finans sektörünün uygulama hızının hukuk, işe alım gibi sektörlerden daha yavaş olduğunu belirtti.

Bazı finansal kurumlar, büyük modellerin uygulanması sürecindeki çeşitli kısıtlayıcı faktörleri çözmeye çalışmaya başladı.

Hesaplama gücü açısından, sektör uzmanları birkaç çözüm yolu gözlemledi:

1. Doğrudan kendi madenciliğinizi kurmak, maliyetleri yüksek ama güvenliği iyi, güçlü olan ve sektörde ya da işletmelerde büyük modeller kurmak isteyen büyük finans kurumları için uygundur.

2. Hesaplama gücü karışık dağıtım, hassas verilerin alan dışına çıkmadığı durumlarda, kamu bulutundan büyük model hizmeti arayüzünü çağırmayı kabul ederken, aynı zamanda yerel veri hizmetlerini özel dağıtım yoluyla işler. Bu yöntem maliyet açısından daha düşüktür ve nispeten sınırlı kaynaklara sahip, ihtiyaç bazlı uygulamalar yapan orta ve küçük ölçekli finansal kurumlar için uygundur.

Ancak, birçok küçük ve orta ölçekli kuruluş, büyük modelleri satın almak için gerekli GPU kartlarını elde etmenin zorlukları ve yüksek maliyetleri ile karşı karşıya kalmaktadır. Bu soruna karşı, ilgili departmanlar konu üzerinde araştırmalar yürütmekte, belirli sektörlere yönelik büyük model altyapısını kurmanın bir orta yolunu bulup bulamayacaklarını keşfetmektedirler. Bu sayede, sektör içindeki küçük ve orta ölçekli finansal kuruluşların da büyük model hizmetlerinden faydalanması sağlanarak "teknolojik geri kalmışlık" önlenebilir.

Veri açısından, son altı ayda büyük modellerin uygulanmasına yönelik keşiflerle birlikte, birçok finansal kurum veri yönetimi çalışmalarını da giderek güçlendirdi.

Bir büyük teknoloji şirketinin üst düzey yöneticisi, şu anda veri yönetimi alanında olgun uygulamalara sahip önde gelen büyük bankalar dışında, giderek daha fazla orta ölçekli finansal kuruluşun da veri merkezi ve veri yönetim sistemleri oluşturmaya başladığını belirtti. İyi bir veri yönetim sistemi ve veri göleti teknolojisi platformu oluşturmanın, gelecekteki finansal kuruluşların IT inşası için önemli bir tema olacağını düşünüyor.

Banka, büyük modelleri MLOps yöntemleriyle birleştirerek veri sorunlarını çözmektedir. Örneğin, bir büyük banka MLOps modeli kullanarak büyük model veri kapalı döngü sistemi kurdu, tüm sürecin otomatikleştirilmesini ve çoklu kaynaklı heterojen verilerin birleşik yönetimini ve verimli işlenmesini sağladı. Şu anda 2,6 TB yüksek kaliteli eğitim veri seti oluşturmuş ve biriktirmiştir.

Dış sahneden giriş

Geçtiğimiz altı ayda, ister büyük model hizmet sağlayıcıları isterse büyük finans kurumları olsun, uygulama senaryoları arayışında aktif olarak bulunuyorlar. Akıllı ofis, akıllı geliştirme, akıllı pazarlama, akıllı müşteri hizmetleri, akıllı yatırım araştırmaları, akıllı risk kontrolü, talep analizi gibi alanlar tek tek keşfediliyor.

Bir teknoloji şirketinin üst düzey yöneticisinin dediği gibi, "Finansal iş zincirindeki her bir kritik işlev, büyük model teknolojisi ile yeniden yapılmayı hak ediyor." Şirket, finans sektörüne yönelik büyük bir model geliştirdi ve iş ortaklarıyla birlikte finansal endüstri büyük model ürünlerini test etmeye başladı. Hedef, varlık yönetimi danışmanları, sigorta ajanları, yatırım araştırmacıları, finansal pazarlama, sigorta tazminatı gibi finans uzmanları için tam kapsamlı bir AI iş asistanı yaratmaktır.

Farklı finansal kuruluşlar, büyük model uygulamaları konusunda zengin fikirlere sahiptir. Bir büyük banka, içlerinde 20'den fazla senaryo uygulaması bulunduğunu belirtirken, başka bir banka 30'dan fazla senaryoda pilot uygulama gerçekleştirdiğini ifade etti. Bir menkul kıymetler şirketi ise büyük modeli daha önce piyasaya sürdüğü sanal dijital insan platformuyla entegre etmeyi araştırıyor.

Ancak büyük modeli iş süreçlerine gerçekten entegre ederken, sektörde yaygın bir görüş, önce iç uygulamalar ve sonra dış kullanım olmasıdır. Sonuçta, şu anda büyük model teknolojisi henüz olgunlaşmamış durumda, örneğin halüsinasyon sorunları gibi, ayrıca finans sektörü de sıkı düzenlemelere, yüksek güvenliğe ve yüksek güvenilirliğe sahip bir sektördür.

Bir büyük bankanın baş teknoloji sorumlusunun önerisi, kısa vadede doğrudan müşterilere büyük modellerin kullanılmaması gerektiğidir. Finansal kurumlar, öncelikle büyük modelleri finansal metinler ve finansal görüntü analizi gibi zeka yoğun senaryolar için uygulamalıdır; bu da insan-makine işbirliği sağlamak ve iş gücü verimliliğini artırmak için yardımcı olarak gerçekleştirilmelidir.

Şu anda, kod asistanı birçok finans kurumunda uygulanmaktadır. Örneğin, büyük bir banka büyük model temelinde akıllı bir Ar-Ge sistemi kurmuştur, kod asistanının ürettiği kod miktarı toplam kod miktarının %40'ını oluşturmaktadır. Sigorta alanında, bir sigorta şirketi büyük model temelinde bir yardımcı programlama eklentisi geliştirmiştir ve bu eklenti doğrudan iç geliştirme araçlarına entegre edilmiştir.

Bazı teknoloji şirketleri, büyük model kod oluşturma yetenekleri etrafında finansal müşterilere kullanıma hazır ürünler sunmaktadır. Softcom'un Sun Hongjun'u, ürünlerinden birinin büyük model kod tamamlama yeteneğinin üzerine görev ayrıştırma, hassas yanıt verme, bağlam kısıtlamalarını aşma gibi işlevler ekleyerek kullanıcıların kullanıma hazır hale geldiğini belirtti. Bu ürün şu anda bir uluslararası bankada 3000'den fazla kullanıcı tarafından kullanılmakta ve kod otomatik tamamlama oranı %50-90 arasındadır.

Akıllı ofis alanında birçok somut örnek bulunmaktadır. Bir büyük teknoloji şirketinin finans sektöründeki büyük model ürünlerinden sorumlu kişi, finansal büyük model üzerine geliştirdikleri şube soru-cevap fonksiyonunun Temmuz ayında büyük bir bankada devreye girmesinin ardından yüzlerce şubeye yayıldığını ve cevap kabul oranının %85'ten fazla olduğunu açıkladı. Şu anda, bu fonksiyon birkaç banka ve finansal kuruma hızlı bir şekilde kopyalanmıştır.

Ancak, sektördeki uzmanlar, bu şekilde yaygın olarak uygulanan senaryoların aslında finans kuruluşlarının temel uygulamaları olmadığını, büyük modellerin finans sektörünün iş katmanlarına derinlemesine ulaşmasına henüz belli bir mesafe olduğunu değerlendiriyor.

Sun Hongjun, iş uygulama senaryolarında zorluğun büyük olduğunu belirtti. Pazarlama, risk kontrolü, uyum gibi senaryolar, büyük modellerin devrim yaratabileceği ve finansal müşterilerin ihtiyaçlarının bulunduğu alanlardır, ancak şu anda bu işler, yalnızca altyapı büyük model tedarikçilerinin yetenek geliştirme durumuna bağlıdır, böylece iş senaryosu uygulamalarını daha ileri götürebiliriz.

Büyük bir teknoloji şirketinin büyük model alanında kıdemli bir uzmanı, bu yılın sonuna kadar finansal kurumların temel iş senaryolarında gerçekten uygulanan büyük model projelerinin inşası veya ihale bilgilerinin ortaya çıkacağını tahmin ediyor.

Bundan önce, bazı üst düzey tasarım değişiklikleri gerçekleştiriliyordu.

Uzmanlar, gelecekteki tüm akıllı ve dijital sistemlerin büyük modellerin temeli üzerine yeniden inşa edileceğini öngörüyor. Bu, finans sektörünün büyük modellerin uygulanması sürecinde sistemlerini yeniden yapılandırmasını gerektiriyor. Aynı zamanda, geleneksel küçük modellerin değerini de göz ardı etmemek ve büyük modellerle küçük modellerin birlikte çalışmasını sağlamak gerekiyor.

Bu eğilim finans sektöründe geniş bir şekilde yansımıştır. Şu anda birçok önde gelen finans kurumu, altyapı katmanı, model katmanı, büyük model hizmet katmanı ve uygulama katmanı gibi birçok katmandan oluşan katmanlı bir sistem çerçevesi oluşturmak için büyük modelleri temel almıştır.

Bu çerçeve sistemlerinin iki ana özelliği vardır: birincisi, büyük modeller merkezi yetenekleri sergiler ve geleneksel modelleri yetenek olarak çağırır; ikincisi, büyük model katmanı çoklu model stratejisi kullanır, içsel karşılaştırma yapar ve en iyi sonuçları seçer.

Aslında, sadece finansal kurumlar değil, mevcut görünüm netleşmemişken, bazı büyük model uygulama sağlayıcıları da çoklu model stratejisi benimsemekte ve hizmet etkisini en iyi hale getirmektedir. Sun Hongjun, kendi alt model katmanlarının da birden fazla büyük dil modelini birleştirdiğini ve her büyük modelin yanıtına göre derleyip en iyi seçeneği kullanıcıya sunduklarını açıkladı.

Yetenek açığı hala büyük

Büyük modellerin kullanımı, finans sektöründeki personel yapısı üzerinde bazı zorluklar ve değişimler getirmeye başladı.

Finans teknoloji şirketinden bir kişi, ChatGPT'nin ortaya çıkmasıyla birlikte, bu yılın başından Mayıs sonuna kadar çalıştığı şirketin 300'den fazla büyük veri analistini işten çıkardığını belirtti. Birkaç yıl önce bu, popüler bir meslekti. Bu durum, gelecekteki istihdam konusunda endişelere yol açtı.

Büyük bir bankadan kıdemli bir uzman, büyük modellerin insanları nasıl ikame ettiğini paylaştı. Bu banka, her sabah stajyerlerin yatırım araştırma departmanına çeşitli bilgileri topladığı bir düzen içindeydi, ancak şimdi bu işler büyük modeller aracılığıyla gerçekleştirilebiliyor.

Ancak, bazı bankalar büyük modellerin iş gücü azaltmasını istemiyor. 200.000 şube çalışanına sahip büyük bir banka, büyük modellerin onlara yeni fırsatlar sunmasını, çalışanların hizmet kalitesini ve iş verimliliğini artırmasını, aynı zamanda bazı çalışanların daha yüksek değerli işler yapması için serbest bırakılmasını istediğini açıkça belirtti. Çalışanları yerinden etmesini istemiyorlar.

Bu durum, hem personel ve yapı istikrarı açısından bir değerlendirme hem de birçok pozisyonda hala yetenek açığı olması nedeniyle ortaya çıkıyor. Sun Hongjun, büyük bankaların tamamlanması gereken çok sayıda işi olduğunu, bazı IT taleplerinin teslim sürelerinin hatta gelecek yılın sonuna kadar uzandığını belirtti. Çalışanların verimliliğini artırmak için büyük modellerin yardımcı olmasını umuyorlar, personel sayısını azaltmak yerine.

Daha önemlisi, büyük modellerin hızlı gelişimi, kısa vadede kıt yetenek arzının artan talebi karşılamasını zorlaştırıyor. Bu, iPhone'un yeni ortaya çıktığı zamanlarda uygulama geliştirmek isteyenlerin iOS programcılarını bulmakta zorlanmasına benziyor.

Bir büyük bankanın üst düzey yöneticisi, finans sektörünün şu anda temel iş süreçlerinde büyük model uygulamalarıyla karşılaştığı 6 ana zorluğu özetledi. Bunlardan biri de yetenek. Son zamanlarda yeni çalışanlar alırken ve üniversite mezunları işe alırken, AI alanında eğitim görenlerin oranının yüksek olduğunu, ancak büyük modelleri anlayanların sayısının çok az olduğunu keşfettiler.

Sun Hongjun'un benzer bir deneyimi var, ulusal bayramdan bir hafta önce bir banka müşterisinden yetenek desteği talebi aldılar. Bu bankanın kendi büyük model ekibinden biri geçici olarak izinli olduğu için, model eğitimi için yeterli personel bulunamadı ve dış destek aramak zorunda kaldılar.

"Bu alanda yetenek gerçekten çok az ve yetiştirilmesi için belirli bir süre gerekecek." Sun Hongjun, büyük modelleri doğrudan uygulayan yetenek talebinin nispeten basit olduğunu, bunun esasen soru sorabilen insanlardan oluştuğunu düşünüyor. Ancak sektör veya şirket için özel büyük modeller oluşturulursa, finansal kurumların yetkin bir dikey büyük model teknik ekibine ihtiyaç duyacağını belirtiyor.

Büyük bir teknoloji şirketinin üst düzey yöneticisi, AI büyük model yeteneği açığının çok büyük olduğunu itiraf etti; önde gelen kuruluşlar şu anda algoritma doktoru gibi AI ile ilgili yetenekleri işe alıyor. Bunun nedeni, finansal müşterilerin büyük model sağlayıcılarından teknik destek alabilmelerine rağmen, nihai kullanıcı ve yenilik lideri olarak AI büyük platform inşasını, AI uygulama planlamasını desteklemek için belirli bir yetenek birikimine ihtiyaç duymasıdır. Ayrıca, modelleme ve ayarlama süreçlerinde büyük model sağlayıcılarıyla işbirliği yaparak senaryo ve model optimizasyonu yapmak ve AI model uygulama kapsamını ve etkisini sürekli olarak genişletmek gerekmektedir.

Bazı kurumlar harekete geçti. Bir büyük teknoloji şirketinin yetkilisi, büyük bir banka laboratuvarıyla özel olarak işbirliği yaptıklarını, büyük modelin kurumsal uygulamalardaki insan dönüşüm uygulamalarını gözden geçirerek Prompt ayarlama, ince ayar, büyük model operasyonu gibi bir dizi eğitim programı tasarladıklarını ve birden fazla departmanla işbirliği yaparak ortak proje grupları kurduklarını açıkladı. Bu sayede kurum çalışanlarının yeteneklerini artırmayı hedefliyorlar.