عاملان هوش مصنوعی خود را همانند کارآموزان مشتاق اما گمراه به‌کار بگیرید—قبل از اینکه کنترل را از دست بدهید.

اصل ماجرا

در نشست Snowflake Summit کارشناسان امنیت هوش مصنوعی تأکید کردند که عامل‌های هوش مصنوعی باید همانند کارآموزان مشتاق اما ناآشنا، با دستورالعمل‌های دقیق و نظارت انسانی مدیریت شوند. بدون محدودیت‌های واضح، این عامل‌ها می‌توانند به‌سرعت از اهداف اولیه منحرف شوند و به داده‌ها یا سامانه‌های حساس دسترسی پیدا کنند. بنابراین ترکیبی از محدودیت‌های دسترسی، درک زمینه و نیت واضح برای استفاده امن از این فناوری ضروری است.

متن کامل ترجمه‌شده

به آژانس های هوش مصنوعی خود را مانند تمرین کنندگان هوشگر اما گمراه شده - قبل از اینکه کنترل خود را از دست بدهید دنبال ZDNET: به ما به عنوان یک منبع مورد علاقه در گوگل اضافه کنید. Takeaways کلیدی ZDNET - یک تعادل بین محدودیت و استقلال آژانس های هوش مصنوعی پیدا کنید. - زمینه و قصد باید به توسعه آژانس های هوش مصنوعی متصل شود. - تنظیمات و داده هایی را که آژانس ها به آنها دسترسی دارند در نظر بگیرید. آژانس های هوش مصنوعی از چت بوت ها ساده به کارگران دیجیتال کامل مجاز به اقدام بر روی برنامه ها و داده ها تبدیل می شوند. و با این توانایی ها، بسیاری از نگرانی های امنیتی و حکومت وجود دارد. به آژانس های هوش مصنوعی خود را به عنوان تمرین کنندگان هوش مصنوعی که آرزوی همان نظارت وهمچنین: چگونه برای کسب و کار خود آژانس های AI بهتر را بسازید - بدون ایجاد مشکلات اعتماد آژانس بدون محدودیت ها می تواند بسیار مشکل باشد، نمایندگان هیئت مدیره ای که ارائه دهندگان امنیتی AI را نمایند، موافق شدند. “شما می توانید به آژانس بگویید تا کفش های شما را بخرد، و قبل از اینکه بدانید، آن شما را یک ماشین خریداری کرده است,” گفت Mayank Agarwal، بنیانگذار و CTO Resolve AI. محدودیت، زمینه، و قصد “شما باید خیلی سخت در مورد چه اجازه هایی که شما به آژانس می دهید فکر کنید. شما نمی توانید فقط انتظار داشته باشید که یک آژانس به طور مستقیم و ضعیف باقی بماند. شما باید این محدودیت ها را در اطراف آن قرار دهید تا محدودیت هایی را که می تواند انجام دهد.”برای مثال، با محدودیت، زمینه و قصد، کلماتهمچنین: آنچه شما برای آژانس های هوش مصنوعی پرداخت می کنید بسیار متغیر و غیر قابل پیش بینی خواهد بود حرفه ای ها باید دستورالعمل های توسعه نرم افزار قدیمی را از بین ببرند، به عنوان آژانس های ساخت و توسعه امروز بسیار متفاوت از شیوه های نرم افزار گذشته اخیر است، Agarwal اشاره کرد. “اگر شما فقط دو سال پیش بروید، یک مهندس دقیقا می داند که چگونه آنها می خواهند APIs را در سیستم های مختلف متصل کنند، “او گفت. “همه چیز بسیار قابل پیش بینی بود: A می خواهد API B را بخواند، B می خواهد این کار را با این داده ها انجام دهد، و C را بخواند، و این کار را با آن داده ها انجام دهد. در دنیای آژانس، این کاملا غیر قابل پیش بینی است. آژانس چیزها را در حال پرواز می کند. به آن یک هدف بدهید، این مشکل را حل کنید”آموزش می تواند از یک ابزار بخواند و از یک ابزار دیگر استفاده کند تا آن را بنویسد تا جایی که نباید باشد.” آسم سایه AI این نگرانی از آسم AI سایه را افزایش می دهد، که از بین می رود. “ما یک مشتری داشتیم که 12 نمونه OpenClaw را در چارچوب خود داشتیم، با دسترسی به feed API، کد منبع و یک کارآفرینی که از Telegram برای ارتباط استفاده می کند” گفت Jason Merrick، معاون ارشد محصول در Tenable. “چه چیزی می تواند اشتباه شود، درست است؟” همچنین: آژانس های AI از خشم است؟ تحقیقات جدید نشان می دهد که چگونه بوت ها که با بوت ها صحبت می کنند می توانند به سرعت با هم روبه رو شوند. در نتیجه این مسائل، درک آنچه آژانس ها در پشت صحنه می کنند می تواند یک چالش باشد. سوال هایی مانند “چه کسی در واقعبنابراین، یک توازن بین حکومت و دسترسی باید ایجاد شود، زیرا AI یک ابزار قدرتمند برای تولید و نوآوری است که باید بتواند به طور مستقل عمل کند. “شما نمی خواهید فقط همه چیز را بلاک کنید و یا همه چیز را از فرودگاه ها محافظت کنید” وانگ توصیه کرد. این نیاز به توازن نیز توضیح می دهد که چرا نظارت انسانی عمیق ضروری است. “به قطعات کاربر که کارمندان ایجاد می کنند نگاه کنید - از طریق Copilot، Claude Chat یا Gemini” Merrick توصیه کرد. “به تنظیمات آنها نگاه کنید. آیا AI اشتباه تنظیم شده است؟ چه نوع داده ها را دسترسی می کند؟ و قادر به اقدام بر این است. همچنین، نگاهی به مطالبات خود را. چه دستورالعمل هایی با آنها ارتباط می کنند؟ خط پایانی: دستورالعمل های مشخصی این منطقه است که گاردرایل ها و بهترین روش هایمن Cursor و Replit را امتحان کردم تا پیدا کنم چالش این است که امنیت و حکومت را در اطراف آنچه “مردم غیرقانونی” هستند، طراحی کنید. “این یک مسئله است که آنها را به خلاقیت اجازه دهید، اما همچنین برای استفاده از مجموعه ای از دستورالعمل های سنتی به شکل SDKs. شما می خواهید کنترل های قابل پیش بینی، اما همچنین، شما نمی خواهید آنها را به اندازه ای محدود کنید که دیگر به شما سود تولیدی نمی دهد.” خط پایانی برای حرفه ای ها برای توجه به این است که آژانس ها، مانند تمرین کنندگان، نیاز به “نمازهای بسیار، بسیار خاص” دارند. “وقتی آنها هنوز هم از مسیر مورد نظر خارج می شوند. آیا شما در مورد آژانس های مدیریت فکر می کنید یا آیا شما به دنبال آژانس کامل فکر می کنید، بازگردید به بصیرت کامل، اصلاح، و اطمینان حاصل کنید

چرا مهمه؟

این خبر نشان می‌دهد که استفاده از عامل‌های هوش مصنوعی بدون نظارت می‌تواند منجر به رفتارهای غیرقابل پیش‌بینی و خطرات امنیتی جدی شود. شرکت‌ها، تیم‌های فنی و مدیران امنیتی تحت تأثیر این موضوع قرار می‌گیرند، زیرا این عامل‌ها در حال تبدیل شدن به کارگران دیجیتال با دسترسی گسترده هستند. خواننده باید به این خبر اهمیت بدهد تا از بروز حوادث داده‌ای، هزینه‌های غیرمنتظره و آسیب به اعتبار سازمان جلوگیری کند.

به درد کی می‌خوره؟

• مدیران فناوری اطلاعات • متخصصان امنیت سایبری • تیم‌های توسعه و DevOps • تصمیم‌گیرندگان کسب‌وکارهای مبتنی بر هوش مصنوعی

تو عمل چی کار کنیم؟

خوانندگان می‌توانند با تعریف سیاست‌های دسترسی محدود، پیاده‌سازی چارچوب‌های نظارت مستمر و استفاده از ابزارهای ردیابی رفتار عامل‌ها، ریسک‌های ناشی از عملکرد غیرقابل پیش‌بینی را کاهش دهند. همچنین، تدوین دستورالعمل‌های واضح برای هر هدف و بررسی دوره‌ای پیکربندی‌ها، به حفظ امنیت و بهره‌وری کمک می‌کند.

نظر Blue IT News

Blue IT News توصیه می‌کند که سازمان‌ها پیش از استقرار عامل‌های هوش مصنوعی، چارچوب‌های حاکمیتی دقیق و مکانیزم‌های بازخورد لحظه‌ای را پیاده‌سازی کنند؛ در غیر این صورت، خطر «هوش مصنوعی سایه» و خسارات ناشی از آن به سرعت می‌تواند فراتر از کنترل برسد.

<div class=“disclosure”> این صفحه ترجمه و تفسیر کاملی از گزارش اصلی ZDNet است که توسط تیم تحریریه بلو آی تی نیوز به فارسی ترجمه و تحلیل شده. برای مشاهده نسخه اصلی، به منبع مراجعه کنید. </div>