SambaNova memungkinkan gangguan di perusahaan dengan model bahasa AI, visi komputer, rekomendasi, dan grafik
Hardware

SambaNova memungkinkan gangguan di perusahaan dengan model bahasa AI, visi komputer, rekomendasi, dan grafik

Seperti kecerdasan buatan itu sendiri, startup AI SambaNova menarik di seluruh tumpukan. Dari perangkat lunak hingga perangkat keras, dari teknologi hingga model bisnis, dan dari visi hingga eksekusi.

SambaNova telah menjadi berita karena sejumlah alasan: pendiri terkenal, serangkaian putaran pendanaan yang mendorongnya ke wilayah unicorn, mengesankan KEPADANYA teknologi chip dan pilihan yang tidak konvensional dalam mengemasnya. Perusahaan sekarang menjalankan tujuannya – untuk memungkinkan gangguan AI di perusahaan.

SambaNova baru saja mengumumkan penawaran GPT-as-a-service, program keanggotaan ELEVAITE untuk pelanggan, dan bekerja sama dengan salah satu bank terbesar di Eropa untuk membangun apa yang diklaim sebagai superkomputer AI tercepat di Eropa.

Kami terhubung dengan CEO dan salah satu pendiri SambaNova Rodrigo Liang untuk membicarakan semua itu, ditambah salah satu topik favorit kami: grafik dan bagaimana grafik mendukung penawaran SambaNova.

AI sebagai layanan

SambaNova baru-baru ini mengumpulkan $676 juta dalam pendanaan Seri D, melampaui penilaian $5 miliar dan menjadi startup AI dengan pendanaan terbaik di dunia. Mengesankan kedengarannya, itu mungkin tidak akan bertahan lama. Perbedaan menjadi “startup AI dengan pendanaan terbaik di dunia”, yaitu, bukan pendanaannya. Liang, yang sering menyebut AI sebagai “sama besarnya, jika tidak lebih besar dari internet”, mungkin akan setuju:

“Orang-orang tidak selalu sadar dalam vertikal mereka sendiri bahwa ada perlombaan AI yang terjadi. Pikirkan tentang bank, manufaktur, perawatan kesehatan, semua sektor yang berbeda di mana orang menggunakan AI sebagai peluang untuk melontarkan posisi mereka di sektor mereka. seluruh industri AI. Ada banyak hal yang benar-benar mengganggu yang terjadi, di mana kami memainkan salah satu bagiannya,” kata Liang.

SambaNova baru saja meluncurkan penawaran GPT-as-a-service, yang menceritakan tentang bagaimana SambaNova mendekati AI di perusahaan.

Sangat kontras dengan penawaran Nvidia, misalnya, SambaNova hanya ingin melakukan segalanya untuk kliennya. Dari mendapatkan model hingga menyesuaikan dan melatihnya, lalu menerapkan, mengoperasikan, dan memeliharanya. Itu termasuk mengakses data yang diperlukan untuk melatih GPT sesuai kebutuhan klien, yang menurut Liang dapat dilakukan dengan cara apa pun yang diperlukan — di lokasi atau di infrastruktur SambaNova.

Ini konsisten dengan cara SambaNova mengirimkan perangkat kerasnya: baik sebagai kotak yang mencakup segala sesuatu mulai dari chip hingga jaringan atau sebagai layanan. Liang mengatakan mereka telah diminta untuk menjual “hanya keripik” kepada pelanggan berkali-kali, dan mereka bisa melakukannya. Tetapi perusahaan mengklaim bahwa sebagian besar dunia tidak memiliki keahlian AI untuk mengambil chip atau perangkat lunak pada tingkat rendah dan menerapkan solusi.

sambanova-dataflow-sebagai-layanan.png

SambaNova telah memilih untuk menawarkan 3 jenis model AI sebagai layanan berdasarkan permintaan pelanggan: model bahasa, visi komputer, dan sistem rekomendasi.

SambaNova

Fokus SambaNova adalah membuat sebanyak mungkin perusahaan Fortune 5000 (sic) berproduksi dengan solusi AI dibandingkan mencoba berbicara dengan sebanyak mungkin pengembang AI. SambaNova juga melakukan itu, dan pengembang senang membuat model baru. Tesis Linag, bagaimanapun, adalah bahwa model telah sampai pada titik bahwa mereka “fantastis”, dan meskipun ada kemajuan tambahan, nilai adalah semua tentang penyebaran dalam produksi.

Tesis ini konsisten tidak hanya dengan gagasan salah satu pendiri SambaNova, Chris Re, tentang “AI yang berpusat pada data” tetapi juga dengan pergeseran fokus ke MLOps. Adapun jenis layanan bertenaga AI yang ditawarkan SambaNova kepada kliennya, Liang mengatakan bahwa meskipun layanan tersebut dapat berupa apa saja, karena substrat aliran data dapat beradaptasi dengan beban kerja apa pun, perusahaan telah memilih untuk fokus pada 3 jenis model AI.

Model bahasa GPT adalah satu, visi komputer definisi tinggi adalah yang lain, dan model rekomendasi adalah yang ketiga. Keputusan didorong oleh permintaan pelanggan. Liang mengatakan bahwa meskipun penawaran SambaNova mencakup penyesuaian dan pemeliharaan, model bisnisnya berbasis langganan, bukan berbasis layanan. Lebih banyak Tenaga Penjualan daripada Accenture. Untuk suku cadang berat, SambaNova bekerja sama dengan sejumlah mitra.

Dataflow: Edge SambaNova didasarkan pada pemrosesan grafik

Arsitektur Dataflow inilah yang memberi SambaNova keunggulan dalam fleksibilitas dan kinerja, menurut Liang. Berdasarkan apa yang tersedia untuk umum di Dataflow, kami mendapat kesan bahwa Dataflow dirancang mulai dari perangkat lunak, dan lebih khusus lagi, kompiler. Liang membenarkan hal ini dan melangkah lebih jauh dengan mencirikan SambaNova sebagai “perusahaan yang mengutamakan perangkat lunak”.

Jadi bagaimana cara kerja Dataflow? Jika kita berpikir tentang cara kerja jaringan saraf, kita memiliki node yang saling berhubungan yang melakukan putaran komputasi berturut-turut untuk melihat apakah output setiap putaran menghasilkan hasil yang lebih baik daripada yang sebelumnya. Anda hanya terus melakukan iterasi itu berulang-ulang, kata Liang. Komputasi yang terjadi untuk jenis pemrosesan itu hari ini adalah apa yang orang sebut “kernel demi kernel”, lanjutnya.

Itu, Liang mencatat, memperkenalkan inefisiensi dan meningkatkan kebutuhan memori bandwidth tinggi karena ada banyak jabat tangan antara mesin komputasi dan memori perantara:

“Sebagai mesin komputasi, Anda melakukan perhitungan Anda, dan kemudian Anda mengirimkannya kembali, dan Anda membiarkan tuan rumah mengirimkan kernel komputasi berikutnya, dan kemudian Anda mulai mencari tahu, oh, apa yang saya butuhkan? Data sebelumnya disimpan di sini ; lalu saya akan mendapatkannya. Jadi sangat sulit untuk merencanakan sumber daya. Kami tidak tahu apa yang akan datang. Ketika Anda tidak tahu apa yang akan datang, Anda tidak tahu semua sumber daya yang mungkin Anda butuhkan.

ai.jpg

Ada banyak hal yang sangat mengganggu yang terjadi di AI, dan SambaNova adalah bagian dari itu.

Oleh decoret — Shutterstock

Kami mulai dengan tumpukan kompiler. Hal pertama yang ingin kami lakukan adalah mengatakan, lihat, jaring saraf ini sangat mudah ditebak. Bahkan untuk sesuatu seperti GPT, sebesar itu, kita tahu interkoneksi jauh sebelumnya. Model menjadi begitu besar sehingga mata dan pikiran manusia tidak dibuat untuk mengoptimalkannya. Tetapi kompiler melakukan pekerjaan yang bagus untuk itu.

Misalkan Anda mengizinkan alat untuk masuk dan membuka gulungan seluruh grafik dan hanya melihat setiap lapisan grafik, setiap interkoneksi yang mungkin Anda perlukan, di mana potongan bagian berada, di mana semua interkoneksi latensi kritis berada, di mana koneksi bandwidth tinggi berada. Dalam hal ini, Anda sebenarnya memiliki kesempatan untuk mengetahui bagaimana menjalankan grafik khusus ini secara optimal,” kata Liang.

Liang menambahkan opsi yang tersedia saat ini — CPU, GPU, FPGA — hanya tahu cara memproses satu kernel pada satu waktu. SambaNova mengambil grafik komputasi, semua masalah bandwidth dan latensi, memetakannya, dan menyimpan data dalam chip. Menjaga semua grafik dan interkoneksi ini secara optimal terikat bersama dan membuat semua cara orkestrasi terlebih dahulu adalah kuncinya.

Anda dapat menskalakannya untuk banyak grafik pada satu chip, atau Anda dapat menempatkan satu grafik dalam ratusan chip — kompilator tidak peduli. Misalnya, beberapa pelanggan paling canggih SambaNova — di pemerintahan AS — melaporkan bahwa mereka mendapatkan 8X hingga 10X, terkadang 20X keuntungan dibandingkan dengan hasil GPU mereka yang telah mereka optimalkan selama bertahun-tahun, kata Liang.

Menariknya, beberapa kali terakhir kami melihat hasil untuk MLPerf, SambaNova tidak disertakan. Untuk memperjelas, itu berarti SambaNova sama sekali tidak tunduk pada MLPerf. Rangkaian pengujian MLPerf adalah kreasi MLCommons, sebuah konsorsium industri yang mengeluarkan evaluasi tolok ukur untuk pelatihan pembelajaran mesin dan beban kerja inferensi. Jadi satu-satunya cara untuk memverifikasi klaim Liang adalah mencoba SambaNova, rupanya. Tolok ukur harus diambil dengan sedikit garam, dan buktinya adalah bagaimana segala sesuatunya bekerja di pengaturan Anda sendiri.

Terlepas dari itu, kami menemukan penekanan pada pemrosesan grafik untuk chip AI yang menarik. SambaNova sebenarnya bukan satu-satunya perusahaan chip AI yang fokus pada hal itu, dan perlombaan untuk pemrosesan grafik sedang berlangsung.

Posted By : keluaran hk 2021