Modyfikacja i weryfikacja zmian w praktyce

Inspiracją do napisania tego artykułu była bardzo interesująca publikacja Pani Ewy Sobuli (http://www.firmy.net/blog/jak-przebudowac-serwis-www-i-zrobic-to-z-glowa-zeby-nie-przeplacic.html), dotycząca procesu wprowadzania poprawek do firmowego serwisu internetowego. Chciałbym rozszerzyć ten temat, bazując na przykładzie praktycznych kroków, które były wykonywane w czasie wykonywania tego typu usługi przez naszą firmę.
Na wstępie przypomnę tylko, iż w założeniu proces wdrażania zmian bazuje na starym, sprawdzonym schemacie cyklu Deminga – PDCA, czyli Plan-Do-Check-Act (zaplanuj, wykonaj, sprawdź i popraw – sprawdź również na: http://pl.wikipedia.org/wiki/Cykl_Deminga).

1. Plan – zakłada przygotowanie szczegółowego planu działania, łącznie z zapewnieniem odpowiedniego personelu i narzędzi. Co ważne, na tym etapie musimy zaplanować, jak będziemy weryfikować skutki wprowadzanych zmian. Jest to bardzo ważne, a często pomijane przy planowaniu.
2. Do – wprowadzanie zmian w wąskim zakresie (pilotażowo) i wykonywanie istotnych w celach końcowej ewaluacji pomiarów.
3. Check – weryfikacja wyników względem założeń.
4. Act – podjęcie decyzji o wprowadzeniu zmian w szerszym zakresie, bądź modyfikacji prototypu i powrotu do punktu 1.

Jak to wygląda w praktyce? Przedstawię zaraz case study, w którym zostały zastosowane zasady PDCA. Serwis internetowy pewnej firmy cierpiał na dwie przypadłości. Pierwszą z nich był brak odpowiedniej ilości odwiedzin, a drugim duży współczynnik odrzuceń, czyli inaczej mówiąc brak zainteresowania zawartością witryny.
Ze względu na specyfikę tego przypadku, standardowy schemat PDCA był tutaj modyfikowany oraz zapętlany wielokrotnie, co stanowi dowód na jego dużą elastyczność.
Plan, czyli od czego zacząć
Zaplanowane zostały dwa osobne projekty:

1. Poprawa ilości wejść na stronę, poprzez optymalizację serwisu pod kątem pozycjonowania.
2. Poprawa treści i wyglądu witryny.

Ze względu na to, że prace związane z pozycjonowaniem zwykle zajmują więcej czasu, zdecydowano się rozpocząć od poprawy treści i wyglądu. Dodatkowo, przy usprawnianiu ilości wejść na stronę, można było również weryfikować wyniki poprzedniego kroku.
Plan dla poprawy zawartości strony
Wygodnie jest założyć, iż miara poziomu zawartości strony jest dokonywana na podstawie czasu, jaki użytkownik spędza w witrynie oraz ilości stron, które przegląda. W tym celu konieczne jest zdefiniowanie konkretnych, mierzalnych wartości. Przykładowo, dla testowanej firmy założono, iż „wartościowa” wizyta na stronie jest dopiero wtedy, gdy trwa więcej niż 1 minutę i obejmuje przynajmniej 2 strony (podstrony) serwisu.
Ze względu na dynamicznie zmieniającą się ofertę firmy wartości zmierzono na podstawie danych z ostatnich 4 tygodni. Okazało się, iż około 14% odwiedzin zostało zakwalifikowanych jako „wartościowe”. Pomiarów dokonano, korzystając z popularnego Google Analytics, który umożliwia dowolne konfiguracje parametrów i progów pomiarowych.
Założono, iż docelowy próg po wprowadzeniu modyfikacji to minimum 25%.
Przygotowano również strategię opracowywania i wprowadzania poprawek, która obejmowała następujące etapy:

• Pracownicy działu handlowego mieli za zadanie przegląd danych dotychczasowych klientów, pod kątem przygotowania profilu przeciętnego użytkownika serwisu. Było to przydatne w celu przeprowadzenia jak najbardziej wiarygodnych testów.
• Zlecono przeprowadzenie badania rynku wśród uczestników o następującym profilu: 70% zgodności z profilem uzyskanym w poprzednim punkcie, przy czym około 25% tej grupy stanowili faktyczni klienci serwisu. Pozostałe 30% wybrano losowo, przy stosowaniu dużo szerszych kryteriów.
• Odrębnym zadaniem była analiza słów kluczowych, które były wprowadzane zarówno przy „wartościowych” jak i „bezwartościowych” wejść. Informacje te są istotne, gdyż ukazują, które informacje są wartościowe na stronie, czyli powodują zainteresowanie użytkownika, a których zdecydowanie brakuje.

Plan dla zwiększenia ilości wejść
Miarą „widoczności” serwisu w sieci jest średnia ilość dziennych wejść nowych użytkowników (jest to bardzo ważne, aby nie uwzględniać powracających klientów oraz administratorów i pracowników).
Przed rozpoczęciem procesu, wskaźnik ten wahał się w granicach 100 wejść/dzień. Stwierdzono, iż aktualnie, ze względu na pewne inwestycje oraz oferty promocyjne, należy znacznie zwiększyć ten współczynnik do około 200 wejść/dzień. Zaplanowano następujące działania:

• konsultacje i wsparcie firmy zajmującej się pozycjonowaniem, która wraz z działem handlowym, bazując na dotychczas zgromadzonych danych oraz analizie stron konkurencji, opracuje zestaw słów kluczowych, które będą użyte do pozycjonowania serwisu,
• pilotażową kampanię przy użyciu usługi Google AdWords, bazująca na informacjach z poprzedniego kroku.

Wspólne zagadnienia – planowany budżet i zwrot z inwestycji
Oszacowano maksymalny, akceptowalny budżet projektu na podstawie poniższych obliczeń: Sprawdzono, iż średnio 1 na 10 „wartościowych” wejść skutkuje dalszym kontaktem oraz nawiązaniem współpracy. Oszacowano, iż średni zysk z takiego jednego wejścia to około 500 zł. Aktualne zyski wynikające z aktywności użytkowników obliczono więc w następujący sposób: sumaryczna ilość wejść w miesiącu = 30dni * 100 wejść = 3000 wejść, w tym wejść „wartościowych”: 3000 * 14% = 420. Ponieważ zyskowne wejścia wynoszą 10% wszystkich „wartościowych”, całkowity zysk miesięczny = 10% * 420 * 500 zł = 21000 zł. Oczekiwana zmiana,l to poprawa ilości wejść „wartościowych” do poziomu minimum 25% oraz zmiana ilości wejść do 500/dzień. Przeprowadzając analogiczne obliczenia, zysk będzie wynosił: 30 dni * 200 wejść * 25% * 10% * 500 zł = 75000 zł. Różnica powyższych wartości obrazuje zakres kosztów, w jakim wprowadzanie modyfikacji będzie jeszcze opłacalne. Wartość ta jest na tyle duża, iż przekroczenie jej byłoby rezultatem naprawdę poważnych błędów organizacyjnych. Oczywiście zastosowano tu pewne uproszczenia, takie jak ograniczenie czasowe do 1 miesiąca, oraz stały współczynnik zyskownych wejść na poziomie 10%. W rzeczywistości parametr ten może się zmniejszyć wraz ze wzrostem sumarycznej ilości wejść.
Do (wykonaj)
Od słów należy przejść płynnie do czynów, czyli początkowo rozpocząć działania zmierzające do poprawy treści i wyglądu serwisu. Etap wstępny to analiza aktualnych treści. Zgodnie z planem przygotowano więc profil grupy docelowej, a następnie przeprowadzono badanie rynku, które ujawniło m.in.:

• obecność błędów „technicznych” na stronie,
• pewne niedociągnięcia wizualne, utrudniające poruszanie się w witrynie,
• sporadyczne braki merytoryczne i niekompletne treści,
• brak istotnych informacji z kilku dziedzin.

Zespół grafików i projektantów, uwzględniając powyższe informacje dokonał istotnych modyfikacji portalu, które będą ewaluowane w kolejnym kroku.
Check (sprawdź)
W tym wypadku weryfikacja była długotrwała, ponieważ aby odwzorować warunki sprzed modyfikacji, należy zgromadzić dane z okresu około miesiąca czasu. Nie tracąc więc czasu, rozpoczęto natychmiast pracę nad kolejnym projektem, czyli poprawą pozycji w wyszukiwarkach. Ale o tym w dalszej części. Wracając do samej kontroli, w tygodniowych cyklach analizowano i weryfikowano zachowania użytkowników w serwisie, w większości posiłkując się automatycznymi raportami z Google Analytics.
Finalnie, po okresie czterech tygodni, okazało się, iż nowe treści przyciągnęły w większym stopniu uwagę odwiedzających, jednak współczynnik „wartościowych” odwiedzin nie osiągnął zakładanych 25% (ustabilizował się na średnim poziomie około 22,8%).
Act (popraw)
Cel nie został więc osiągnięty, ale ostateczna decyzja musiała zostać podjęta. Do rozważenia były dwie opcje – albo kontynuować wprowadzanie zmian, albo zostawić aktualny wygląd, godząc się z nieco słabszym wynikiem. Zdecydowano się na rozwiązanie drugie, gdyż:

• Częste zmiany interfejsu strony nie są mile widziane przez użytkowników i mogą wpłynąć negatywnie na prowadzoną kampanię.
• Relacja poniesionych kosztów do uzyskanych wyników była bardzo korzystna. Dalsze usprawnianie mogłoby znacznie zwiększyć koszty, przy niekoniecznie proporcjonalnym wzroście współczynnika odwiedzin.
• Różnica od zakładanego progu nie była aż tak znacząca.

Do (wykonaj) – ilość wejść na stronę
W kwestii zwiększenia liczby wejść na stronę podejmowane były jednocześnie dwa działania (zgodnie z pierwotnym planem), mianowicie prace typowo związane z pozycjonowaniem oraz pilotażowa kampania w Google AdWords. Pierwsze z zagadnień zostało zlecone specjalistycznej firmie. Same mechanizmy pozycjonowania są dość złożone i nie będą poruszane w ramach tego artykułu. Drugi etap, czyli kampanię reklamową, rozpoczęto od niskobudżetowej promocji w celu weryfikacji skuteczności tego narzędzia.
Check (sprawdź) – ilość wejść na stronę
W tym momencie drogi procesu rozeszły się. Dobre wyniki w pozycjonowaniu wymagają zwykle dłuższego czasu, dlatego bieżąca kontrola nie była możliwa. Weryfikację tego kroku odłożono więc na koniec, czyli zakładane 4 tygodnie. Kampanię reklamową weryfikowano na bieżąco i po pierwszym cyklu okazało się, iż przynosi zadowalające rezultaty. Postanowiono więc przeznaczyć większe środki na dalsze wyświetlanie reklam, oraz rozbudować słowa kluczowe i treści ogłoszeń. Finalnie, po zakładanych czterech tygodniach, sprawdzono średnią ilość wejść na stronę. Wyniki początkowo nie osiągnęły normy, ale rosnący trend w końcu przebił granicę 200 wejść i dalej się rozwijał. Zauważono również wzrost o pewien stały poziom, pochodzący prawdopodobnie z reklam AdWords.
Act (popraw) – ilość wejść na stronę
Otrzymane wyniki zostały uznane za satysfakcjonujące, a obrana linia postępowania została przyjęta jako obowiązująca i wpisana do tzw. „best practices” (najlepszych praktyk) firmy. Zdecydowano o kontynuowaniu kampanii AdWords jeszcze przez kolejne tygodnie, ale już przy mniejszym budżecie, ze względu na dobre wyniki uzyskiwane z pozycjonowania serwisu.
Ostateczna weryfikacja – badanie rynku
Po zakończeniu cyklu zdecydowano o przeprowadzeniu jeszcze jednego cyklu badania rynku, w celu weryfikacji zawartości przez użytkowników końcowych. Test ten miał dwa podstawowe cele:

• potwierdzenie skuteczności zmian, mierzonych do tej pory tylko przez wartości liczbowe,
• przygotowanie planu kolejnych poprawek i modyfikacji – gdyż ulepszanie jest procesem ciągłym, który nigdy nie powinien być wstrzymywany.

Badanie, tak jak poprzednio, przeprowadzono zarówno z udziałem dotychczasowych klientów, jak i nowych użytkowników, korzystając z wsparcia specjalistycznej firmy. Oceny subiektywne uczestników były różnorodne, gdyż część była przyzwyczajona do dawnego interfejsu. Sumarycznie przeważały jednak pozytywne opinie. Zwłaszcza wartościowy był wzrost pozytywnych odpowiedzi na pytanie o wcześniejszy kontakt z daną marką lub chociażby pytanie o znajomość logo. Rezultaty prac pozycjonerskich zostały potwierdzone odpowiedziami na pytania typu: „Czy szukając produktu z branży …. natrafiłby Pan/Pani na stronę firmy ….?”. Odnaleziono jeszcze nieliczne, drobne błędy. Związane były głównie z niedopasowaniem nowego wyglądu do niektórych, mniej typowych przeglądarek i rozdzielczości ekranu. Problem ten został jednak szybko wyeliminowany.
Wnioski
Ostatecznie projekt został zakończony z pozytywnym skutkiem. Cele zostały w zasadzie osiągnięte. Utrzymanie odpowiedniej pozycji na rynku wymaga jednak ciągłego monitorowania sytuacji i ewentualnego reagowania na pojawiające się sygnały alarmowe. Pomocne może być regularne przeprowadzanie badania rynku i opinii o produkcie i całej marce.