Kde jste: Hlavní stránkaProč nevěřit většině výzkumů veřejného mínění

Proč nevěřit většině výzkumů veřejného mínění

Vydáno na blogu Podnikání

Většina výzkumů, které se dělají pomocí telefonického dotazování (CATI), má naprosto zavádějící až lživé výsledky.

Celkem často mi zavolají z nějaké renomované výzkumné agentury, zda bych se nezúčastnil výzkumu veřejného mínění. Vždy se jich zeptám, jak dlouho to bude trvat. Standardně odpoví, že čtvrt hodiny. Naposledy dnes, v půl dvanácté dopoledne.

Kdo má čas a chuť odpovídat v pracovní době (ale klidně i večer) čtvrt hodiny na nějaké otázky???!!!

Dokážete si představit, jak nepřesný je pak vzorek? Vždyť odpovídají snad jenom důchodci, nezaměstnaní nebo lidé, co jsou v práci sami a nudí se.

Když jsme před lety začala naše agentura RobertNemec.com dělat vlastní CATI výzkumy, udělali jsme nejprve pilotní výzkum, kolik otázek lidé snesou. Výborné výsledky jsou do tří otázek, kolem páté se ochota odpovídat láme prudce dolů. Nepříjemné je, že do těchto maximálně pěti otázek musíte dostat i sociodemografické otázky. :-( Když jsme nabídli možnost něco vyhrát, byli nám lidé ochotni zodpovědět šest až sedm otázek (podle typu výhry).

Jak výzkumné agentury mlží

Před několika lety jsem dělal na jedné předvolební kampani. Politická strana si zadala výzkum u zavedené agentury pro výzkum veřejného mínění, která tvrdila, že dodržuje etický kodex ESOMAR. Když jsem se dostal k výsledkům výzkumu já, nevěřil jsem vlastním očím. Nevím už přesně kolik měl výzkum otázek, ale bylo jich mezi 30 až 40.

Co si ale pamatuji velmi přesně, bylo to, že jsem pak na jedné poradě demonstroval, že jenom přečíst otázky čtvrtiny dotazníku mi zabralo 11 minut. „Takže mi chcete tvrdit, že 1 023 lidí věnovalo tomuto dotazníků minimálně 44 minut svého života?“ ptal jsem se šéfa agentury.

Následně jsem jej požádal o surová data, že si je zkontroluji (stačí to prohnat nějakým statistickým programem). Žádal jsem týden, dva, tři, urgoval – ale nikdy mi surová data poskytnuta nebyla.

Jiný klient si zadal výzkum u ještě prestižnější agentury na výzkum veřejného mínění (jsou členy sdružení SIMAR). Součástí výzkumu bylo, kolik firem a jaké v daném oboru lidé znají (brand awareness). Průměr na celorepublikovou populaci byl sedm. „Prosím vás, než jsem se vámi začal zabívat, znal jsem tři ve vašem oboru – a to si myslím, že mám celkem přehled,“ povídám na jednání s klientem. „A vy věříte tomu, že běžný Franta Novák zná vás a šest dalších vašich konkurentů?“

Ono totiž stačí, jak je otázka položena. Pokud je otázka např.:

„Zaškrtněte firmy, které znáte: XYZ, ZYX, XYZ,“

tak lidé zaškrtnou mnoho firem. Buďto se jim vybaví nebo nechtějí vypadat, že se nevyznají. Mnohem přesnější je otázka:

„Vyjmenujte firmy, které prodávají X.“

Jak mi řekl jeden výzkumník: „Nedodáváme firmám výzkum veřejného mínění, ale to, co chtějí slyšet.“

Historky z Fakulty sociálních studií

Když jsem studoval na Fakultě sociálních studií, mnoho mých spolužáků si přivydělávalo jako tazatelé veřejného mínění. „Dá se na tom dost vydělat,“ povídala mi jedna spolužačka. „Když jedu vlakem z Prahy do Plzně, rozdám cestujícím dotazníky a na konci cesty je vyberu. Za každý dotazník dostanu (částku už jsme zapomněl – pozn. RN) a dost cestujících mi to vyplní.“

Že vzorek „cestující vlakem na lince Praha – Plzeň v pátek večer“ neodpovídá běžnému průřezu české populace ji už nezajímalo. Někdy byl ale vzorek ještě horší.

Jiná moje spolužačka se jednou postavila ke dveřím fakultní knihovny. Každého pak zastavila s dotazem: „Prosím tě, dnes večer musíme odevzdávat tento výzkum. Mohl bys mi jej vyplnit?“ Dalšího večera pak běžel v televizi výzkum „Co si Češi myslí o…“. No, Češi – spíše studenti Fakulty sociálních studií.

Proč tomu tak je

1. Jak už jsem naznačil: Firmy často chtějí jenom potvrzení, ujištění. Jenom málokterá firma je natolik silná, aby ustála pravdu. (Jak mi řekl člen představenstva jedné banky: „My nechceme znát fakta. Protože pak bychom se podle nich museli třeba i řídit.“)

2. Firmy si myslí, že musí znát odpověď na strašně moc otázek. Jenže výzkum nenahradí ani vaši invenci, ani dlouhodobé zkoumání zákazníka. To je jako chtít mít po jednom rande dotyčnou ženu „přečtenou“.

3. Firmy (klienti) tlačí na cenu a agentury (výzkumníci) se podbízí cenou. Klient často nemá vzdělání v sociologii a statistice, takže ani neví, že takovýto výzkum jsou vyhozené peníze.

4. Firmy si chtějí ušetřit práci – a dotazníkové šetření je tak snadné! My často děláme následující výzkumy:

a) rozhovory se zákazníky přímo na prodejnách nebo u nich v kancelářích,
b) jeden nebo dva dotazy položené v průběhu telefonátu zákazníka na zákaznickou linku,
c) čtení přepisů rozhovorů na zákaznické lince (to samé s emaily na podporu).

(Jak to vypadá v reálu se můžete podívat např. na případové studii avendro.cz.)

Všechno by v podstatě zvládl manažer dané firmy, kdyby chtěl. Já manažerům říkám: „Prosím vás, postavte se na pár hodin do vaší prodejny a bavte se se zákazníky. Ano, zabere vám to nějaký čas. Ale získáte lepší pochopení zákazníků než z výzkumu za 100 000 Kč.“

Nedávno mi jedna kamarádka říkala, že na strategickou poradu nepozvali zástupce zákaznického oddělení. „Jak to?“ ptám se jí. „Zákaznické oddělení má často více informací než zbytek firmy.“

5. Výzkumy se často dělají formou omnibusů. Omnibusy jsou strašné zlo. Omnibus spojí několik otázek od každé firmy do jednoho výzkumu. Řekněme, že každá firma dodá pět otázek a firem je také pět (v lepším případě). Najdou se pošetilci, kteří se stále domnívají, že existují stvoření, která po pravdě zodpoví 25 otázek.

6. Firmy nevěří kvalitativním výzkumům. Manažeři totiž umí pracovat více s čísly než s pochopením. Jenže kvalitativní výzkum vám dává mnohem větší vhled do reality než mnohá čísla.

7. Firmy chtějí jistotu. Prosím vás, zapomeňte na nějakou jistotu! I ten nejlepší kvantitativní výzkum se pohybuje na nějaké hladině významnosti (tedy může být úplně špatně). Výzkum vám má naznačit směr – a zbytek je na vaší invenci a odvaze.

Jak si udělat zákaznický výzkum lépe

K tomu, aby si naše agentura začala dělat vlastní výzkumy veřejného mínění, mě tedy vedly dvě věci: Zaprvé otřesné zkušenosti na trhu (tedy výzkumy, kterým se nedalo věřit). A za druhé mě to baví. :-)

1. Ujasněte si, co jsou ty naprosto základní věci, které potřebujete znát. Jsem velkým zastáncem Net Promoter Score, kde vám stačí jediná otázka. A viděl jsem už mnoho rozsáhlých výzkumů, která pak skončily v šuplíku. Je lepší znát odpoveď na tři až pět otázek – a s těmi pak skutečně pracovat. Zapomeňte na to, že by vám zákazník vymyslel iPhone nebo walkmana.

2. Potřebujete-li více informací, zkuste raději kvalitativní výzkum nebo něco jiného než dotazník (např. analytiku).

3. Musíte mít vědce, který ví, jak má klást otázky.

4. Vždy si udělejte pilotní výzkum. Úplně vždy. I když jste kovaný vědec, který ví, jak má klást otázky, může se stát, že vzorek prostě něco nepochopí.

Níže uvádím příklad jednoho našeho vlastního dotazníku. Byl to interní dotazník, takže jej nedělal nikdo z naší agentury, který má na starosti výzkumy, ale manažerka jednoho projektu.

Klikněte prosím na obrázek, ať jej vidíte celý.

nepochopitelne-hodnoceni-dotaznik-rnc

Tady vidíte, že respondent nepochopil bodování. Projev přednášejícího a prezentaci ohodnotil jako otřesný („za pět“), ale jinak pro něj byla přednáška informativní a přínosná. Zpětným dotázáním jsme zjistili, že opravdu došlo k nepochopení.

Příště bude hodnocení textové a zpřesníme i otázky.

I následující otázka je nepochopitelná. Nevíte totiž, zda respondent odpovídal na otázku „co se mu líbilo“, nebo „co mu v ní chybělo“. Líbilo se mu, že jsme mu ukázali, jak fungujeme, nebo to naopak v přednášce postrádal?

Klikněte prosím na opět na obrázek.

nepochopitelna-otazka-dotaznik-rnc

Obecně se za ten dotazník stydím. Ale uvádím jej jako příklad, že i chytrý markeťák, který zároveň nemá vzdělání a zkušenosti v sociologii, vytvoří nepřesný dotazník.

5. Výzkumy pak vždy oveřujte – a moc jim neveřte. Jak říkal už Lee Iacocca, legendární CEO Chrysleru: „Zákazníci vám napovídají spoustu věcí, podle čeho se rozhodují při koupi auta. Ale ve skutečnosti se rozhodují podle toho, zda se jim to auto líbí, nebo nelíbí.“

Doporučte tento článek přátelům Nechte si zasílat čtrnáctidenní přehled našich článků na e-mail

Přečtěte si další články k tématu

Komentáře

  1. K obsahu článku nemám výhrady. Je naozaj zaujímavý, no na môj vkus príliš dlhý (pár krát som sa musel k niektorým vetam vrátiť a prečítať znova aby som ich pochopil).

    Nabudúce by to asi chcelo rozdeliť na minimálne 2 články. (To len moja pripomienka).

  2. Já si pamatuji, jak mi ze serveru Quora přišel jednoduchý mail ve stylu: „ahoj, odpovězte nám na tento mail s tím, co se vám na serveru líbí a nelíbí vlastními slovy, zajímá nás to“…

    Tohle je věc, co by se mělo mnoho firem učit. Prostě žádné nudné dotazníky, speciální software, analýza atd. atd. Prostě se zeptat otevřenou otázkou a té věnovat pozornost.

Napsat komentář

Vaše e-mailová adresa nebude zveřejněna. Vyžadované informace jsou označeny *

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>

Už jen krůček a pomůžeme vám vydělávat.

Domluvit konzultaci