Sementara Altman menyerukan regulasi masa depan AI, menurutnya model saat ini tidak berbahaya dan berpikir akan menjadi kesalahan besar untuk mengatur atau melarangnya.
·Data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model (hukum Penskalaan) masih berlaku, membuat model yang lebih besar akan terus menghasilkan kinerja.
Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas
Minggu lalu, lebih dari 20 pengembang, termasuk CEO OpenAI Sam Altman dan CEO platform pengembangan AI HumanLoop Raza Habib, mengadakan pertemuan tertutup untuk membahas API OpenAI (antarmuka pemrograman aplikasi) dan rencana produk. Beberapa hari kemudian, Raza Habibi menerbitkan rangkuman detail dari pokok-pokok pertemuan tersebut.
Dalam diskusi tersebut, Altman mengakui dengan terus terang bahwa OpenAI saat ini dibatasi oleh GPU (unit pemrosesan grafis), dan berbicara tentang rencana sumber terbuka GPT-3, prioritas utama OpenAI saat ini, dan dampak sosial dari kecerdasan buatan. Sementara Altman menyerukan regulasi masa depan AI, dia tidak melihat model saat ini berbahaya.
Altman juga mengatakan bahwa data internal OpenAI menunjukkan bahwa hukum bahwa kinerja model sebanding dengan skala masih berlaku, yaitu semakin besar modelnya, semakin kuat kinerjanya. OpenAI akan terus mencoba membuat model lebih besar, tetapi mereka mungkin hanya akan berukuran dua atau tiga kali lipat setiap tahun, tidak dengan banyak urutan besarnya.
Saat ini sangat dibatasi oleh GPU
Tema yang berulang selama diskusi adalah bahwa ketergantungan besar OpenAI saat ini pada GPU telah menunda banyak rencana jangka pendek mereka.
OpenAI menerima keluhan pengguna paling banyak tentang keandalan dan kecepatan API. Altman memahami kekhawatiran mereka dan menjelaskan bahwa sebagian besar masalah disebabkan oleh kekurangan sumber daya GPU.
Fungsi konteks token 32k yang sebelumnya didukung oleh ChatGPT tidak dapat diperluas ke lebih banyak orang, dan OpenAI masih memiliki beberapa masalah untuk diselesaikan, jadi meskipun mereka akan segera memiliki jendela konteks token 100k-1M, mereka masih perlu diperoleh dalam terobosan penelitian.
API fine-tuning saat ini juga dibatasi oleh sumber daya GPU. Mereka belum menggunakan metode fine-tuning yang efisien seperti Adapters atau LoRa (dua metode fine-tuning yang umum untuk model besar), jadi pengoperasian dan manajemen fine-tuning sangat intensif sumber daya komputasi. Akan ada cara penyesuaian yang lebih baik di masa mendatang. Mereka bahkan mungkin menjadi tuan rumah pasar untuk model kontribusi komunitas.
Penyediaan kapasitas khusus juga dibatasi oleh sumber daya GPU. OpenAI menyediakan kapasitas khusus untuk pelanggan dengan kebutuhan pribadi, memungkinkan pelanggan menjalankan data pribadi di ruang khusus. Untuk mengakses layanan ini, pelanggan harus membayar uang muka sebesar $100.000.
Roadmap OpenAI
Sam membagikan roadmap jangka pendek tentatif untuk API OpenAI.
Pada tahun 2023, tugas pertama adalah mencapai GPT-4 yang lebih murah dan lebih cepat; kedua, jendela konteks yang lebih panjang - dalam waktu dekat, jendela konteks dapat mencapai hingga 1 juta token; ketiga, API penyempurnaan akan diperluas ke model terbaru, tetapi bentuk spesifiknya akan ditentukan oleh kebutuhan aktual pengembang; keempat, API stateful - saat memanggil API obrolan hari ini, perlu berulang kali melewati riwayat percakapan yang sama dan membayar token yang sama berulang kali. Di masa mendatang , akan ada versi API yang mengingat riwayat percakapan.
Pada tahun 2024, kemampuan multimoda akan dibuka. Saat GPT-4 dirilis, ia mendemonstrasikan kemampuan multimoda yang kuat, tetapi hingga GPU puas, kemampuan ini tidak dapat diperluas ke semua orang.
Banyak pengembang tertarik untuk mengakses plugin ChatGPT melalui API, tetapi Altman tidak berpikir plugin ini akan dirilis dalam jangka pendek. Selain browsing, sistem plug-in belum menemukan PMF (Product Market Fit, yang paling cocok antara produk dan pasar).
Altman menunjukkan bahwa banyak orang mengira mereka ingin aplikasi mereka ada di dalam ChatGPT, tetapi yang sebenarnya mereka inginkan adalah ChatGPT di dalam aplikasi.
Altman mengatakan bahwa OpenAI tidak akan merilis lebih banyak produk selain ChatGPT.
Dia mengatakan bahwa berdasarkan konvensi, platform hebat akan memiliki aplikasi pembunuh, dan ChatGPT akan membuat aplikasi pemecah rekor ini. Visi ChatGPT adalah menjadi asisten yang sangat pintar untuk bekerja, tetapi ada banyak kasus penggunaan GPT lain yang tidak akan disentuh oleh OpenAI.
Hukum penskalaan masih berlaku
Sementara Altman menyerukan regulasi masa depan AI, menurutnya model saat ini tidak berbahaya dan berpikir akan menjadi kesalahan besar untuk mengatur atau melarangnya.
Dia menegaskan kembali keyakinannya akan pentingnya open source dan mengatakan bahwa OpenAI sedang mempertimbangkan membuat GPT-3 open source. Alasan mengapa itu belum menjadi open source adalah karena mereka merasa bahwa tidak banyak orang dan perusahaan yang memiliki kemampuan untuk mengelola model bahasa sebesar itu dengan baik.
Banyak artikel baru-baru ini mengutip Altman yang mengatakan bahwa "era model AI raksasa telah berakhir", tetapi ini tidak secara akurat mencerminkan arti aslinya. Dia mengatakan bahwa data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model (Scaling law) masih berlaku, membuat model yang lebih besar akan terus menghasilkan kinerja. Tingkat penskalaan memang tidak berkelanjutan, karena OpenAI telah meningkatkan model jutaan kali hanya dalam beberapa tahun, dan terus melakukannya di masa depan tidak berkelanjutan. Itu tidak berarti OpenAI tidak akan terus mencoba membuat model lebih besar, itu hanya berarti mereka mungkin hanya akan berlipat ganda atau tiga kali lipat setiap tahun, daripada banyak urutan besarnya.
Fakta bahwa undang-undang penskalaan terus berlaku memiliki implikasi penting untuk garis waktu pengembangan AGI (kecerdasan umum buatan), kata Altman. Hukum penskalaan mengasumsikan bahwa kita mungkin sudah memiliki sebagian besar bagian yang diperlukan untuk membangun AGI, dan sebagian besar pekerjaan yang tersisa adalah meningkatkan metode yang ada ke model yang lebih besar dan kumpulan data yang lebih besar. Jika era hukum penskalaan berakhir, kita mungkin harus berharap AGI masih jauh. Fakta bahwa undang-undang penskalaan terus bekerja sangat menunjukkan waktu yang singkat untuk mencapai AGI.
Lihat Asli
Konten ini hanya untuk referensi, bukan ajakan atau tawaran. Tidak ada nasihat investasi, pajak, atau hukum yang diberikan. Lihat Penafian untuk pengungkapan risiko lebih lanjut.
Pengungkapan terbaru Altman: ada kekurangan GPU yang mendesak, dan berencana untuk membuka sumber GPT-3, dan membuka multi-modalitas tahun depan
Sumber: Makalah
Reporter Shao Wen
Sementara Altman menyerukan regulasi masa depan AI, menurutnya model saat ini tidak berbahaya dan berpikir akan menjadi kesalahan besar untuk mengatur atau melarangnya.
·Data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model (hukum Penskalaan) masih berlaku, membuat model yang lebih besar akan terus menghasilkan kinerja.
Minggu lalu, lebih dari 20 pengembang, termasuk CEO OpenAI Sam Altman dan CEO platform pengembangan AI HumanLoop Raza Habib, mengadakan pertemuan tertutup untuk membahas API OpenAI (antarmuka pemrograman aplikasi) dan rencana produk. Beberapa hari kemudian, Raza Habibi menerbitkan rangkuman detail dari pokok-pokok pertemuan tersebut.
Dalam diskusi tersebut, Altman mengakui dengan terus terang bahwa OpenAI saat ini dibatasi oleh GPU (unit pemrosesan grafis), dan berbicara tentang rencana sumber terbuka GPT-3, prioritas utama OpenAI saat ini, dan dampak sosial dari kecerdasan buatan. Sementara Altman menyerukan regulasi masa depan AI, dia tidak melihat model saat ini berbahaya.
Altman juga mengatakan bahwa data internal OpenAI menunjukkan bahwa hukum bahwa kinerja model sebanding dengan skala masih berlaku, yaitu semakin besar modelnya, semakin kuat kinerjanya. OpenAI akan terus mencoba membuat model lebih besar, tetapi mereka mungkin hanya akan berukuran dua atau tiga kali lipat setiap tahun, tidak dengan banyak urutan besarnya.
Saat ini sangat dibatasi oleh GPU
Tema yang berulang selama diskusi adalah bahwa ketergantungan besar OpenAI saat ini pada GPU telah menunda banyak rencana jangka pendek mereka.
OpenAI menerima keluhan pengguna paling banyak tentang keandalan dan kecepatan API. Altman memahami kekhawatiran mereka dan menjelaskan bahwa sebagian besar masalah disebabkan oleh kekurangan sumber daya GPU.
Fungsi konteks token 32k yang sebelumnya didukung oleh ChatGPT tidak dapat diperluas ke lebih banyak orang, dan OpenAI masih memiliki beberapa masalah untuk diselesaikan, jadi meskipun mereka akan segera memiliki jendela konteks token 100k-1M, mereka masih perlu diperoleh dalam terobosan penelitian.
API fine-tuning saat ini juga dibatasi oleh sumber daya GPU. Mereka belum menggunakan metode fine-tuning yang efisien seperti Adapters atau LoRa (dua metode fine-tuning yang umum untuk model besar), jadi pengoperasian dan manajemen fine-tuning sangat intensif sumber daya komputasi. Akan ada cara penyesuaian yang lebih baik di masa mendatang. Mereka bahkan mungkin menjadi tuan rumah pasar untuk model kontribusi komunitas.
Penyediaan kapasitas khusus juga dibatasi oleh sumber daya GPU. OpenAI menyediakan kapasitas khusus untuk pelanggan dengan kebutuhan pribadi, memungkinkan pelanggan menjalankan data pribadi di ruang khusus. Untuk mengakses layanan ini, pelanggan harus membayar uang muka sebesar $100.000.
Roadmap OpenAI
Sam membagikan roadmap jangka pendek tentatif untuk API OpenAI.
Pada tahun 2023, tugas pertama adalah mencapai GPT-4 yang lebih murah dan lebih cepat; kedua, jendela konteks yang lebih panjang - dalam waktu dekat, jendela konteks dapat mencapai hingga 1 juta token; ketiga, API penyempurnaan akan diperluas ke model terbaru, tetapi bentuk spesifiknya akan ditentukan oleh kebutuhan aktual pengembang; keempat, API stateful - saat memanggil API obrolan hari ini, perlu berulang kali melewati riwayat percakapan yang sama dan membayar token yang sama berulang kali. Di masa mendatang , akan ada versi API yang mengingat riwayat percakapan.
Pada tahun 2024, kemampuan multimoda akan dibuka. Saat GPT-4 dirilis, ia mendemonstrasikan kemampuan multimoda yang kuat, tetapi hingga GPU puas, kemampuan ini tidak dapat diperluas ke semua orang.
Banyak pengembang tertarik untuk mengakses plugin ChatGPT melalui API, tetapi Altman tidak berpikir plugin ini akan dirilis dalam jangka pendek. Selain browsing, sistem plug-in belum menemukan PMF (Product Market Fit, yang paling cocok antara produk dan pasar).
Altman menunjukkan bahwa banyak orang mengira mereka ingin aplikasi mereka ada di dalam ChatGPT, tetapi yang sebenarnya mereka inginkan adalah ChatGPT di dalam aplikasi.
Altman mengatakan bahwa OpenAI tidak akan merilis lebih banyak produk selain ChatGPT.
Dia mengatakan bahwa berdasarkan konvensi, platform hebat akan memiliki aplikasi pembunuh, dan ChatGPT akan membuat aplikasi pemecah rekor ini. Visi ChatGPT adalah menjadi asisten yang sangat pintar untuk bekerja, tetapi ada banyak kasus penggunaan GPT lain yang tidak akan disentuh oleh OpenAI.
Hukum penskalaan masih berlaku
Sementara Altman menyerukan regulasi masa depan AI, menurutnya model saat ini tidak berbahaya dan berpikir akan menjadi kesalahan besar untuk mengatur atau melarangnya.
Dia menegaskan kembali keyakinannya akan pentingnya open source dan mengatakan bahwa OpenAI sedang mempertimbangkan membuat GPT-3 open source. Alasan mengapa itu belum menjadi open source adalah karena mereka merasa bahwa tidak banyak orang dan perusahaan yang memiliki kemampuan untuk mengelola model bahasa sebesar itu dengan baik.
Banyak artikel baru-baru ini mengutip Altman yang mengatakan bahwa "era model AI raksasa telah berakhir", tetapi ini tidak secara akurat mencerminkan arti aslinya. Dia mengatakan bahwa data internal OpenAI menunjukkan bahwa hukum penskalaan kinerja model (Scaling law) masih berlaku, membuat model yang lebih besar akan terus menghasilkan kinerja. Tingkat penskalaan memang tidak berkelanjutan, karena OpenAI telah meningkatkan model jutaan kali hanya dalam beberapa tahun, dan terus melakukannya di masa depan tidak berkelanjutan. Itu tidak berarti OpenAI tidak akan terus mencoba membuat model lebih besar, itu hanya berarti mereka mungkin hanya akan berlipat ganda atau tiga kali lipat setiap tahun, daripada banyak urutan besarnya.
Fakta bahwa undang-undang penskalaan terus berlaku memiliki implikasi penting untuk garis waktu pengembangan AGI (kecerdasan umum buatan), kata Altman. Hukum penskalaan mengasumsikan bahwa kita mungkin sudah memiliki sebagian besar bagian yang diperlukan untuk membangun AGI, dan sebagian besar pekerjaan yang tersisa adalah meningkatkan metode yang ada ke model yang lebih besar dan kumpulan data yang lebih besar. Jika era hukum penskalaan berakhir, kita mungkin harus berharap AGI masih jauh. Fakta bahwa undang-undang penskalaan terus bekerja sangat menunjukkan waktu yang singkat untuk mencapai AGI.