تکنولوژی

Lakera که از آسیب‌پذیری‌های LLM محافظت می‌کند، ۲۰ میلیون دلار سرمایه جذب کرد

Lakera، استارتاپ سوئیسی که فناوری برای محافظت از برنامه‌های هوش مصنوعی مولد در برابر تهدیدات و درخواست‌های مخرب ایجاد می‌کند، در سری A به رهبری شرکت سرمایه‌گذاری خطرپذیر اروپایی Atomico، ۲۰ میلیون دلار جذب کرد.

Lakera ، استارتاپ سوئیسی که فناوری برای محافظت از برنامه‌های هوش مصنوعی مولد در برابر تهدیدات و درخواست‌های مخرب ایجاد می‌کند، ۲۰ میلیون دلار در دور سری A به رهبری شرکت سرمایه‌گذاری خطرپذیر اروپایی Atomico، جذب کرده است.

هوش مصنوعی مولد به عنوان نماد حرکت پرشتاب هوش مصنوعی معروف شده است، با برنامه‌هایی مانند ChatGPT . اما هنوز در محیط‌های شرکتی نگرانی‌هایی به وجود می‌آورد، عمدتاً به دلیل مسائل امنیتی و حریم خصوصی داده‌ها .

برای زمینه‌سازی، مدل‌های بزرگ زبانی (LLMs) موتورهای پشت هوش مصنوعی مولد هستند و ماشین‌ها را قادر می‌سازند که متن را همانند انسان درک و تولید کنند. اما اینکه آیا شما می‌خواهید چنین برنامه‌ای شعری بنویسد یا قراردادی حقوقی را خلاصه کند، به دستورالعمل‌هایی نیاز دارد که خروجی آن را هدایت کنند. این «درخواست‌ها»، اما، می‌توانند به گونه‌ای ساخته شوند که برنامه را فریب دهند تا کاری را انجام دهد که نباید، مانند افشای داده‌های محرمانه‌ای که برای آموزش آن استفاده شده بود، یا دسترسی غیرمجاز به سیستم‌های خصوصی. این نوع «تزریق درخواست» یک نگرانی واقعی و رو به رشد است و بطور خاص، کاری است که Lakera به آن می‌پردازد.

پاسخ به درخواست

Lakera که در سال ۲۰۱۲ در زوریخ تأسیس شد، رسماً اکتبر گذشته با ۱۰ میلیون دلار سرمایه راه‌اندازی شد ، با وعده صریح محافظت از سازمان‌ها در برابر ضعف‌های امنیتی LLM مانند نشت داده‌ها یا تزریق درخواست‌ها. این شرکت با هر LLM کار می‌کند، از جمله GPT-X OpenAI، Bard گوگل، Lama متا و Claude شرکت Anthropic.

در هسته خود، Lakera به عنوان یک «فایروال برنامه‌ای هوش مصنوعی با تاخیر کم» تنظیم می‌شود که ترافیک ورودی و خروجی به برنامه‌های هوش مصنوعی مولد را ایمن می‌کند.

محصول ابتدایی این شرکت، Lakera Guard ، بر پایه یک پایگاه داده ساخته شده است که دیدگاه‌هایی از منابع متعدد را جمع‌آوری می‌کند، از جمله داده‌های عمومی «منبع باز» که در سایت‌هایی مانند Hugging Face میزبانی می‌شوند، تحقیقات داخلی در زمینه یادگیری ماشین، و یک بازی تعاملی جالب که به نام Gandalf ایجاد کرده است که کاربران را دعوت می‌کند تا سعی کنند رمز عبور مخفی آن را فاش کنند.

گاندالف Lakera
گاندالف Lakera

بازی پیچیده‌تر می‌شود (و بنابراین سخت‌تر برای «هک» شدن) زمانی که به مراحل پیشرفته‌تر می‌رسد. اما این تعاملات به Lakera امکان داده است تا آنچه را که یک «طبقه‌بندی تزریق درخواست» می‌نامد بسازد که این حملات را به دسته‌بندی‌هایی تقسیم می‌کند.

«ما پیشگام هوش مصنوعی هستیم و مدل‌های خودمان را برای شناسایی حملات مخرب مانند تزریق درخواست‌ها در زمان واقعی می‌سازیم» دیوید هابر، هم‌بنیان‌گذار و مدیر عامل Lakera به TechCrunch توضیح داد. «مدل‌های ما پیوسته از حجم زیادی از تعاملات هوش مصنوعی مولد یاد می‌گیرند که تعاملات مخرب چگونه به نظر می‌رسند. در نتیجه، مدل‌های آشکارکننده ما پیوسته بهبود می‌یابند و با چشم‌انداز تهدیدات جدید تکامل می‌یابند.»

Lakera Guard در حال کنترل
Lakera Guard در حال کنترل.

Lakera می‌گوید که با ادغام برنامه‌شان با API Lakera Guard، شرکت‌ها می‌توانند بهتر در مقابل درخواست‌های مخرب محافظت کنند. با این حال، شرکت همچنین مدل‌های ویژه‌ای ساخته است که درخواست‌ها و خروجی‌های برنامه‌را برای محتوای سمی اسکن می‌کنند، با آشکارکننده‌های مخصوص برای گفتار نفرت‌آمیز، محتوای جنسی، خشونت و ناسزاگویی.

«این آشکارکننده‌ها به ویژه برای برنامه‌های عمومی مانند چت‌بات‌ها مفید هستند، اما در تنظیمات دیگر نیز استفاده می‌شوند» هابر گفت.

مشابه ابزار دفاعی درخواست‌ها، شرکت‌ها می‌توانند هوش تعدیل محتوای Lakera را با یک خط کد ادغام کنند و به یک داشبورد مرکزی کنترل سیاست دسترسی پیدا کنند تا آستانه‌های مورد نظر خود را بر اساس نوع محتوا تنظیم کنند.

کنترل‌های تعدیل محتوای Lakera Guard
کنترل‌های تعدیل محتوای Lakera Guard.

با 20 میلیون دلار تازه در بانک، Lakera اکنون آماده است تا حضور جهانی خود را گسترش دهد، به ویژه در ایالات متحده. این شرکت ادعا می‌کند که تعداد زیادی مشتریان نه چندان کم‌سابقه در آمریکای شمالی دارد، از جمله استارتاپ هوش مصنوعی Respell آمریکا و Cohere کانادا.

«شرکت‌های بزرگ، شرکت‌های SaaS و ارائه‌دهندگان مدل‌های هوش مصنوعی همگی در حال رقابت برای راه‌اندازی برنامه‌های امن AI هستند» هابر گفت. «سازمان‌های خدمات مالی متوجه ریسک‌های امنیتی و انطباقی شده و پذیرندگان اولیه هستند، اما در همه صنایع علاقه مشاهده می‌شود. بیشتر شرکت‌ها می‌دانند که نیاز به ادغام GenAI در فرآیندهای اصلی کسب‌وکار خود دارند تا رقابتی باقی بمانند.»

علاوه بر پشتیبان اصلی Atomico، در دور سری A Lakera، بازوی VC Dropbox، Citi Ventures و Redalpine هم شرکت کردند.

توسط
Tech Crunch
منبع
Tech Crunch
نمایش بیشتر

اخبار مرتبط

بازگشت به بالا