Sukoharjonews.com – Dalam beberapa tahun terakhir, model bahasa telah mengambil alih bidang pemrosesan bahasa alami, tetapi bahkan yang paling maju pun memiliki keterbatasan. Mereka berjuang dengan tugas-tugas dasar seperti aritmatika dan pengecekan fakta. Namun, model bahasa AI baru bernama Toolformer, yang dikembangkan oleh para peneliti di Meta, menjanjikan perubahan itu.
Dilansir dari Gizmochina, Minggu (19/2/2023), Toolformer berbeda dari model bahasa lain, seperti ChatGPT, karena pada dasarnya dapat mengajarkan dirinya sendiri untuk menggunakan alat eksternal seperti mesin telusur, kalkulator, dan kalender. Ini dimungkinkan berkat penggunaan API, kependekan dari Antarmuka Pemrograman Aplikasi. Toolformer dapat menggunakan API untuk mengakses informasi dari berbagai perangkat lunak eksternal, termasuk penerjemah bahasa dan referensi faktual.
Selama pelatihan, Toolformer diberi sekumpulan kecil contoh tulisan manusia yang menunjukkan bagaimana setiap API digunakan, dan kemudian diizinkan untuk membuat anotasi kumpulan data pemodelan bahasa yang besar. Itu melakukan ini dengan cara yang “diawasi sendiri”. Model belajar untuk memprediksi setiap panggilan API berbasis teks seolah-olah itu adalah bentuk teks lainnya. Saat beroperasi, ia dapat menyisipkan panggilan sesuai kebutuhan dan bahkan memutuskan sendiri alat mana yang akan digunakan (dan cara menggunakannya).
Kemampuan pemanggilan API Toolformer memungkinkannya mengatasi keterbatasan dalam model bahasa lain, seperti aritmatika. Misalnya, jika pengguna ingin asisten berbasis LLM menambahkan tanggal ke kalender mereka, Toolformer dapat menangani tugas tersebut dengan menggunakan tautan API ke aplikasi kalender.
Toolformer dibangun di atas model GPT-J terlatih dengan 6,7 miliar parameter. Berbagai eksperimen yang dilakukan pada berbagai tool-oriented menyimpulkan bahwa Toolformer adalah performa yang jauh lebih baik daripada model GPT-3 yang jauh lebih besar. Perlu dicatat bahwa model GPT-3 memiliki lebih dari 175 miliar parameter.
Sementara mengintegrasikan alat eksternal ke dalam model bahasa bukanlah konsep baru, sebagian besar pendekatan yang ada mengandalkan sejumlah besar anotasi manusia atau terbatas pada pengaturan khusus tugas tertentu. Toolformer, di sisi lain, dapat belajar menggunakan berbagai alat dengan cara umum yang tidak memerlukan pelatihan khusus untuk tugas tertentu.
Namun, akan selalu ada risiko kecil bahwa model bahasa tersebut mungkin secara tidak sengaja menggunakan alat yang salah atau menyebabkan kerusakan pada data pengguna. Namun demikian, Toolformer adalah langkah yang menjanjikan ke arah yang benar untuk bidang pemrosesan bahasa alami. (nano)
Tinggalkan Komentar