Као што ће вам рећи свако ко је икада био у вези, људске емоције су сложен појам. Ово се посебно односи на трговце који покушавају да схвате квалитативне користи - вредност која надилази основну функционалност - њихових производа или услуга. Није тешко разумети чиме се бави ваш производ, али да ли знате како се осећају ваши потрошачи?



И ако бисте користили анализу расположења за социјално слушање како бисте нефилтрирана размишљања друштвене мреже циљне публике преточили у стратешки увид. Узимајући све друштвени подаци доступни преко Твиттера и категоризација га са позитивним, негативним или неутралним осећањима је главни подухват и не постоје две једнаке методе. Због тога је ХАСХТАГС изградио хибридни систем анализе расположења који комбинује два примарна приступа, списак правила и машинско учење.



Листе правила

Један од најједноставнијих начина за решавање анализе сентимената је коришћење правила или речника створених човеком. Овим приступом систем се ослања на листу речи или фраза које се директно мапирају у одређено осећање. На пример, било који Твеет који садржи реч „петица“ могао би бити означен као позитиван, док би Твеет који садржи „ужасно“ био негативан. Овакви системи су врло прилагодљиви и могу се проширити на хиљаде правила за речи и фразе.

Негативна страна је да се системи правила боре са твеетовима који се подударају са сукобљеним правилима, попут „Филм није био тако ужасан као што сам очекивао“. Овде би „ужасно“ могло бити означено негативним, док би „очекивано“ било позитивно. Сукобљена правила означавају Твеет као неутралан, док би га неки људски читаоци протумачили као благо позитиван, а други као благо негативан.

Додатно ограничење система заснованих на правилима је ослањање на људски напор и разумевање. Језик се брзо развија (нарочито на Твиттеру), а систем заснован на правилима захтева од некога да обезбеди сталан ток нових термина и фраза. Ажурирање система расположења није увек главни приоритет и систем може брзо застарети. Чак и уз будно надгледање, може бити тешко идентификовати променљиве језичке трендове и одредити када треба додати нова правила.

Машинско учење

Користе се напреднији системи за анализу расположења Машинско учење (МЛ) технике (понекад зване и вештачка интелигенција или Обрада природног језика ). Машинско учење је породица техника које користе статистику и вероватноћу за идентификовање сложених образаца који се могу користити за обележавање предмета.

За разлику од система заснованих на правилима, МЛ системи су довољно флексибилни да открију сличности које човеку нису одмах очигледне. Гледајући многе, многе примере, систем учи обрасце који су типично повезани са позитивним, негативним или неутралним осећањима.



На пример, систем анализе сентимената МЛ могао би открити да су Твитови који садрже реч „киша“ и завршавају се једним ускличником негативни, док су Твитови са „кишом“ и два ускличника позитивни. Човек можда неће приметити овај образац или разумети зашто се јавља, али МЛ систем може да га користи за давање врло тачних предвиђања.

Иако системи машинског учења могу да дају одличне резултате, они имају неколико недостатака. Када у језику постоји много разноликости, МЛ систему може бити тешко да просијава буку да би одабрао обрасце. Када постоје јаки обрасци, они могу засенити мање уобичајене обрасце и довести до тога да систем МЛ игнорише суптилне знакове.

Спроут’с Аппроацх

Да бисмо изградили наш систем анализе сентимената, дизајнирали смо хибридни систем који комбинује најбоље од приступа заснованог на правилима и машинског учења. Анализирали смо десетине хиљада Твитова како бисмо идентификовали места на којима се МЛ модели боре и увели стратегије засноване на правилима како бисмо помогли у превазилажењу тих недостатака.



Допуњавајући статистичке моделе људским разумевањем, изградили смо робустан систем који се добро понаша у широком спектру поставки.

анализа расположења клица

Све о тачности

Наизглед, анализа расположења делује прилично једноставно - само одлучите да ли је Твеет позитиван, негативан или неутралан. Људски језик и емоције су сложени, али откривање сентимента у Твеет-у одражава ову сложеност.

Размотрите ове Твитове. Да ли су позитивни, негативни или неутрални?

хттпс://твиттер.цом/алек/статус/917406154321420289

Можда се осећате сигурно у својим одговорима, али су велике шансе да се не би сви сложили с вама. Истраживање је показало да се људи слажу само око расположења Твеетова 60-80% времена.

1212 анђеоских бројева

Можда сте скептични. И ми смо били.

Да би то тестирали, два члана нашег тима за науку о подацима су потпуно исти скуп од 1.000 твеетова означили као позитиван, негативан или неутралан. Схватили смо да „свакодневно радимо са Твеетовима; вероватно ћемо се између нас двоје постићи скоро савршен договор. '

Израчунали смо резултате, а затим смо их двоструко и троструко проверили. Истраживање је било на лицу места - сложили смо се само за 73% твеетова.

Изазови у анализи сентимента

Истраживање (заједно са нашим малим експериментом) показује да анализа сентимената није једноставна. Зашто је тако зезнуто? Прошетајмо кроз неколико највећих изазова.

Контекст

Твитови су мали снимак у времену. Иако су неки самостални, твеетови су често део текућег разговора или референтне информације које имају смисла само ако познајете аутора. Без тих трагова може бити тешко протумачити ауторова осећања.

Сарказам

Откривање сарказма је још један укус контекстуалног изазова. Без додатних информација, системи за анализу сентимента често бркају дословно значење речи са оним како су намењене. Сарказам је активно подручје академског истраживања, тако да ћемо у блиској будућности можда видети системе који разумеју снарк.

Поређења

Сентимент такође постаје незгодан када Твеетс направе поређења. Ако спроводим истраживање тржишта поврћа и некога који објављује твеетове, „Шаргарепа је боља од тикве“, да ли је овај Твеет позитиван или негативан? Зависи од ваше перспективе. Слично томе, неко би могао да цвркуће: „Компанија А је боља од компаније Б.“ Ако радим у компанији А, овај Твеет је позитиван, али ако сам у компанији Б, негативан је.

Емојис

Емоџије су свој језик . Иако емојији изражавају прилично очигледно осећање, други су мање универзални. Током изградње нашег система за анализу сентимента, добро смо проучавали како људи користе емоји сличице, откривајући да чак и уобичајени емојији могу изазвати забуну. се готово подједнако користи у значењу „тако срећан што плачем“ или „тако тужан што плачем“. Ако се људи не могу сложити око значења емоџија, не може се ни систем за анализу сентимента.

Дефинисање неутралног

Чак и „неутрално“ осећање није увек једноставно. Узмите у обзир наслов вести о трагичном догађају. Иако бисмо се сви сложили да је догађај ужасан, већина наслова вести требало би да буду чињеничне, информативне изјаве. Системи за анализу сентимента су дизајнирани да идентификују емоције аутора садржаја, а не одговор читаоца. Иако може изгледати чудно видети страшне вести означене као „неутралне“, оне одражавају ауторову намеру да саопшти чињеничне информације.

Системи за анализу сентимента такође се разликују у томе колико је неутралан дефинисан. Неки сматрају да је неутрална категорија свеприсутна за било који Твеет када систем не може да одлучи између позитивног или негативног. У тим системима, „неутрално“ је синоним за „нисам сигуран“. У стварности, међутим, постоји много твеетова који не изражавају осећања, као што је пример у наставку.

Наш систем изричито класификује неемоционалне твитове као неутралне, уместо да користи неутралну као подразумевану ознаку за двосмислене твитове.

Оцењивање анализе расположења

Са толико изазова у анализи сентимената, исплати се урадити домаћи задатак пре него што уложите у нови алат. Продавачи покушавају да помогну у решавању сложености фокусирајући се на статистику о тачности свог производа. Међутим, тачност није увек поређење између јабука и јабука. Ако планирате да користите тачност као мерни штап, ево неколико ствари које бисте требали питати.

Да ли је пријављена тачност већа од 80%?
Будући да се људи слажу једни с другима само 60-80% времена, не постоји начин да направимо тестни скуп података за који ће се сви сложити да садржи ознаке „тачних“ осећања. Што се тиче осећања, „тачно“ је субјективно. Другим речима, не постоји златни стандард који се користи за тестирање тачности.

стално виђам 444

Горња граница тачности система расположења увек ће бити сагласност на нивоу човека: око 80%. Ако продавац тврди да је тачност већа од 80%, било би добро бити скептичан. Тренутна истраживања сугеришу да је вероватноћа чак 80% тачна; врхунски стручњаци у овој области обично постижу прецизност средином и вишим шездесетим.

Колико категорија расположења се предвиђа?
Неки добављачи процењују тачност само на Твитовима које су људски процењивачи идентификовали као дефинитивно позитивне или негативне, изузимајући све неутралне Твитове. Прецизност система је много лакша када се ради са јако емотивним твеетовима и само два могућа исхода (позитивни или негативни).

Међутим, у дивљини је већина твеетова неутрална или двосмислена. Када се систем процењује само на основу позитивних и негативних, немогуће је знати колико се систем носи са неутралним твеетовима - већином онога што ћете заправо видети.

Које врсте твеетова су укључене у њихов тест сет?
Систем за анализу сентимента требало би да се изгради и тестира на Твитовима који су репрезентативни за стварне услове. Неки системи за анализу сентимента креирају се помоћу твеетова специфичних за домен који су филтрирани и очишћени како би систем био што лакши за разумевање.

На пример, добављач је можда пронашао већ постојећи скуп података који укључује само снажне емотивне твитове о авио-индустрији, с тим да су искључени сви твитови са нежељеном поштом или ван теме. То би проузроковало високу тачност, али само када се користи на врло сличним твеетовима. Ако радите на другом домену или примате твитове ван теме или нежељеног садржаја, видећете много нижу тачност.

Колики је био скуп података за тестирање?
Системи за анализу сентимента треба да се процењују на неколико хиљада Твитова како би се измерили учинци система у многим различитим сценаријима. Нећете добити праву меру тачности система када се систем тестира само на неколико стотина твитова.

Овде у Спроут-у изградили смо свој модел на колекцији од 50 000 твеетова извучених из случајног узорка са Твиттера. Будући да наши твитови нису специфични за домен, наш систем анализе сентимената има добре резултате на широком спектру домена.

Поред тога, правимо одвојена предвиђања за позитивне, негативне и неутралне категорије; не примењујемо само неутрално када друга предвиђања пропадну. Наша тачност је тестирана на 10.000 твеетова, од којих ниједан није коришћен за изградњу система.

Погледајте Спроут-ову анализу расположења уживо са слушаоцима

Сва истраживања на свету нису замена за оцењивање система из прве руке. Дајте нашем новом систему за анализу осећања пробну вожњу у оквиру нашег најновијег скупа алата за социјално слушање Слушаоци , и погледајте како вам то одговара. На крају, најбољи алат за социјално слушање је онај који задовољава ваше потребе и помаже вам да од друштвених мрежа добијете већу вредност. Дозволите да вам помогнемо да започнете данас.

Подели Са Пријатељима: