محققان یاهو دقیق ترین الگوریتم تشخیص محتوای توهین آمیز در جملات را توسعه داده اند

بسیاری از روش های فیلترینگ نظراتی که این روزها در سرویس های آنلاین استفاده می شوند، به ترکیبی از واژه های ممنوعه، اصطلاحات رایج و ساختار جملات برای تشخیص محتوای نفرت پراکنی تکیه می کنند. اما محققان یاهو یک گام فراتر گذاشته و یادگیری ماشینی را برای انجام این کار به خدمت گرفته اند.

با استفاده از تکنیک word embedding، که واژه ها را به عنوان یک کمیت برداری و نه صرفا مثبت یا منفی بودن بررسی می کند، سیستم جدید یاهو می تواند جملات دارای محتوای توهین آمیز را تشخیص بدهد، حتی اگر کلمات جمله به تنهایی معنای بدی نداشته باشند.

به ادعای یاهو سیستم مورد بحث در آزمایشات صورت گرفته، 90 درصد مواقع در تشحیص ادبیات توهین آمیز در جملات موفق بوده است. اگرچه عملکرد این الگوریتم بسیار تحسین برانگیز است، اما نباید فراموش کرد که نفرت پراکنی کلامی موضوعی است که دائما در حال تغییر و تحول بوده و شاید حتی یک انسان هم نتواند به طور صد در صد توهین آمیز بودن یک جمله را تشخیص بدهد.