Jin10 verileri 3 Nisan, bu sabah 1'de, OpenAI yeni bir AI Agent değerlendirme Benchmark'ı - PaperBench'i açığa çıkardı. Bu Benchmark, akıllı ajanların arama, entegrasyon, yürütme gibi yeteneklerini değerlendiriyor ve 2024 Uluslararası Makine Öğrenimi Konferansı'ndaki en iyi makalelerin yeniden üretilmesini gerektiriyor; bu, makale içeriğini anlama, kod yazma ve deney yürütme gibi yetenekleri içeriyor. OpenAI'nin açıkladığı test verilerine göre, şu anda tanınmış büyük modellerle oluşturulan akıllı ajanlar, üst düzey makine öğrenimi uzmanı doktorlarını yenemiyor. Ancak, yardımcı öğrenme ve araştırma içeriğini anlama konusunda oldukça faydalı.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
OpenAI Açık Kaynak PaperBench, üst düzey AI Agent değerlendirmesini yeniden şekillendiriyor
Jin10 verileri 3 Nisan, bu sabah 1'de, OpenAI yeni bir AI Agent değerlendirme Benchmark'ı - PaperBench'i açığa çıkardı. Bu Benchmark, akıllı ajanların arama, entegrasyon, yürütme gibi yeteneklerini değerlendiriyor ve 2024 Uluslararası Makine Öğrenimi Konferansı'ndaki en iyi makalelerin yeniden üretilmesini gerektiriyor; bu, makale içeriğini anlama, kod yazma ve deney yürütme gibi yetenekleri içeriyor. OpenAI'nin açıkladığı test verilerine göre, şu anda tanınmış büyük modellerle oluşturulan akıllı ajanlar, üst düzey makine öğrenimi uzmanı doktorlarını yenemiyor. Ancak, yardımcı öğrenme ve araştırma içeriğini anlama konusunda oldukça faydalı.