Keahlian kecerdasan buatan dan pembelajaran mesin telah menjadi proyek gairah Google selama beberapa tahun terakhir, dan pidato kunci I/O 2023 hanya membuat hal itu lebih jelas. Pembuatan gambar adalah salah satu aplikasi yang lebih menarik untuk teknologi ini, dan upaya Google di bidang ini materialisasi sebagai Imagen, alat pembuatan gambar berbasis teks seperti Midjourney dan DALL-E 2. Sekarang, Google membagikan penelitian yang memamerkan Imagen Editor, di mana petunjuk teks dan sedikit sketsa dapat cukup untuk melakukan pengeditan lokal pada foto.
Utilitas Imagen milik Google sudah terampil dalam membuat gambar dari awal, hanya dengan menggunakan petunjuk teks. Namun, jika Anda tidak puas dengan hasilnya, biasanya Anda harus mengubah struktur petunjuk Anda, memolesnya, dan memberikan generator gambar kesempatan lain, hanya karena Imagen belum memungkinkan pengeditan elemen-elemen tertentu dari gambar yang tidak Anda sukai. Untuk mengatasi hal ini, Google baru-baru ini membagikan penelitian untuk Imagen Editor dan EditBench, utilitas yang saat ini dalam tahap beta, tetapi mampu memandu pengeditan dengan petunjuk teks.
Alih-alih membuat gambar segar dengan menggunakan petunjuk, Imagen Editor membutuhkan foto yang harus diedit, petunjuk teks dari pengguna yang menentukan perubahan, dan wilayah tersembunyi yang menentukan di mana edit harus diterapkan. Hasilnya adalah pengeditan terbatas pada wilayah yang Anda tentukan, disesuaikan dengan petunjuk yang diberikan. Selain itu, hasilnya sangat fotorealistik dan alami.
Secara teknis disebut inpainting, proses yang digunakan oleh alat baru Google ini mirip dengan restorasi gambar atau yang dapat kita sebut sebagai perpaduan antara Google AI dan Adobe Photoshop Content Aware Fill. Para peneliti mengembangkan encoder baru untuk Imagen Editor dan juga memasukkan modul detektor objek ke dalam AI untuk mengkompensasi masker yang tidak lengkap atau tidak akurat.
Penelitian ini juga mencakup alat yang disebut EditBench untuk mengevaluasi hasil inpainting yang dipandu teks. Berdasarkan dataset 240 gambar, benchmark mengevaluasi edit pada gambar yang dibuat manusia dan yang dihasilkan oleh AI pada parameter seperti objek yang dimodifikasi, atribut mereka seperti bentuk, ukuran, jumlah, dan kesesuaian untuk adegan. Google mengamati bahwa masking objek membantu meningkatkan penyejajaran gambar-teks, membuat Imagen Editor lebih baik daripada alternatif seperti DALL-E 2 dan StableDiffusion dalam semua kategori yang diuji oleh EditBench.
Sayangnya, Google memiliki kekhawatiran yang tidak terdefinisi terkait penggunaan AI yang bertanggung jawab, dan itulah mengapa ia tidak akan merilis Imagen Editor ke publik. Baru-baru ini, perusahaan mengusulkan kerangka kerja untuk melindungi pengembangan AI, dan semoga beberapa batasan keras dapat ditetapkan sebelum memberikan akses kepada orang ke alat seperti Imagen Editor. Di sisi lain, EditBench tersedia secara lengkap, gratis, untuk membantu penelitian AI lebih lanjut. Sementara itu, kami tetap berharap model dasar, Imagen, segera diintegrasikan ke Gboard.
Leave a Reply