Sumber: https://humanloop.com/blog/openai-plans?

Minggu lalu saya berkesempatan duduk bersama Sam Altman dan 20 pengembang lainnya untuk membahas API OpenAI dan rencana produk mereka. Sam sangat terbuka. Diskusi tersebut membahas masalah praktis pengembang serta pertanyaan yang lebih besar terkait misi OpenAI dan dampak sosial dari AI. Berikut adalah inti dari pembahasan tersebut:

1. OpenAI saat ini sangat terbatas pada GPU
   Tema umum yang muncul sepanjang diskusi adalah bahwa saat ini OpenAI sangat terbatas pada GPU dan ini menunda banyak rencana mereka dalam jangka pendek. Keluhan terbesar pelanggan adalah tentang keandalan dan kecepatan API. Sam mengakui kekhawatiran mereka dan menjelaskan bahwa sebagian besar masalah adalah akibat dari kekurangan GPU.
   Konteks 32k yang lebih panjang belum dapat diperluas ke lebih banyak orang. OpenAI belum mengatasi skalabilitas O(n^2) dari perhatian dan sehingga meskipun tampak mungkin mereka akan memiliki jendela konteks 100k – 1M token segera (tahun ini), apa pun yang lebih besar akan memerlukan terobosan penelitian.
   API finetuning juga saat ini terbatas oleh ketersediaan GPU. Mereka belum menggunakan metode finetuning yang efisien seperti Adapters atau LoRa sehingga finetuning sangat intensif komputasi untuk dijalankan dan dikelola. Dukungan yang lebih baik untuk finetuning akan datang di masa depan. Mereka bahkan mungkin akan menyelenggarakan pasar model yang disumbangkan oleh komunitas.
   Penawaran kapasitas khusus terbatas oleh ketersediaan GPU. OpenAI juga menawarkan kapasitas khusus, yang memberikan pelanggan salinan model pribadi. Untuk mengakses layanan ini, pelanggan harus bersedia berkomitmen untuk pengeluaran $100k di muka.
2. Rencana jangka pendek OpenAI
   Sam berbagi apa yang ia lihat sebagai rencana jangka pendek sementara OpenAI untuk API.
   2023:
   GPT-4 yang lebih murah dan lebih cepat – Ini adalah prioritas utama mereka. Secara umum, tujuan OpenAI adalah untuk menurunkan “biaya kecerdasan” sejauh mungkin, sehingga mereka akan bekerja keras untuk terus mengurangi biaya API dari waktu ke waktu.
   Jendela konteks yang lebih panjang – Jendela konteks sebanyak 1 juta token memungkinkan dalam waktu dekat.
   API finetuning – API finetuning akan diperluas ke model terbaru tetapi bentuk yang tepat untuk ini akan dibentuk oleh apa yang dikatakan oleh pengembang bahwa mereka benar-benar inginkan.
   API stateful – Ketika Anda memanggil API obrolan hari ini, Anda harus melewati riwayat percakapan yang sama berulang kali dan membayar token yang sama berulang kali. Di masa depan, akan ada versi API yang mengingat riwayat percakapan.

2024:

• Multimodalitas – Ini telah didemonstrasikan sebagai bagian dari rilis GPT-4 tetapi tidak dapat diperluas ke semua orang sampai setelah lebih banyak GPU tersedia.

3. Plugin “tidak memiliki PMF” dan mungkin tidak akan datang ke API dalam waktu dekat
   Banyak pengembang tertarik untuk mengakses plugin ChatGPT melalui API tetapi Sam mengatakan bahwa dia tidak berpikir mereka akan dirilis dalam waktu dekat. Penggunaan plugin, selain penjelajahan, menunjukkan bahwa mereka belum memiliki PMF. Dia menyarankan bahwa banyak orang yang berpikir mereka ingin aplikasi mereka berada di dalam ChatGPT tetapi yang sebenarnya mereka inginkan adalah ChatGPT di aplikasi mereka.
4. OpenAI akan menghindari bersaing dengan pelanggan mereka – selain dengan ChatGPT
   Beberapa pengembang mengatakan bahwa mereka cemas membangun dengan API OpenAI ketika OpenAI mungkin akan merilis produk yang bersaing dengan mereka. Sam mengatakan bahwa OpenAI tidak akan merilis produk lain selain ChatGPT. Dia mengatakan bahwa ada sejarah perusahaan platform besar memiliki aplikasi andal dan bahwa ChatGPT akan memungkinkan mereka membuat API lebih baik dengan menjadi pelanggan produk mereka sendiri. Visi untuk ChatGPT adalah menjadi asisten super cerdas untuk pekerjaan tetapi akan ada banyak kasus penggunaan GPT lainnya yang tidak akan disentuh oleh OpenAI.
5. Regulasi diperlukan tetapi demikian juga open source
   Meskipun Sam meminta regulasi untuk model masa depan, dia tidak berpikir model yang ada berbahaya dan berpikir akan menjadi kesalahan besar untuk mengatur atau melarangnya. Dia mengulangi keyakinannya dalam pentingnya open source dan mengatakan bahwa OpenAI sedang mempertimbangkan open-sourcing GPT-3. Sebagian dari alasan mereka belum open-source adalah karena dia skeptis tentang berapa banyak individu dan perusahaan yang akan memiliki kemampuan untuk meng-host dan melayani LLM besar.
6. Hukum skalabilitas masih berlaku
   Baru-baru ini banyak artikel yang mengklaim bahwa “era model AI raksasa sudah berakhir”. Ini bukan representasi yang akurat dari apa yang dimaksudkan.
   Data internal OpenAI menunjukkan bahwa hukum skalabilitas untuk kinerja model terus berlaku dan membuat model lebih besar akan terus memberikan kinerja. Tingkat skalabilitas tidak dapat dipertahankan karena OpenAI telah membuat model jutaan kali lebih besar dalam beberapa tahun terakhir dan melakukan hal itu ke depan tidak akan berkelanjutan. Ini tidak berarti bahwa OpenAI tidak akan terus mencoba membuat model lebih besar, itu hanya berarti mereka kemungkinan akan dua atau tiga kali lebih besar setiap tahun daripada meningkat beberapa kali lipat.
   Fakta bahwa skalabilitas terus berfungsi memiliki implikasi signifikan untuk timeline pengembangan AGI. Hipotesis skalabilitas adalah gagasan bahwa kami mungkin memiliki sebagian besar elemen yang diperlukan untuk membangun AGI dan bahwa sebagian besar pekerjaan yang tersisa akan mengambil metode yang ada dan meningkatkannya menjadi model yang lebih besar dan dataset yang lebih besar. Jika era skalabilitas sudah berakhir maka kami seharusnya mengharapkan AGI jauh lebih jauh. Fakta bahwa hukum skalabilitas terus berlaku sangat menyarankan timeline yang lebih pendek.