Primeiramente você vai precisar ter uma conta do Google Analytics. Faça o login na sua conta do Google Analytics e gere seu código de acompanhamento, caso não saiba como fazer, siga esse tutorial.
1 - Copie seu código e vamos inserir no seu site.

2 - Seguindo a recomendação do Google: – adicione a linha a seguir a cada página do modelo imediatamente depois da tag de abertura <head>
3 - Como estamos falando de WordPress, você não vai inserir o código em cada página que deseja, basta inserir na página header.php do seu tema.
4 - Acesse a página adminsitrativa do wordpress com seu usuário e senha. Link: seudmonio.com(ou .br)/wp-admin

5 - Vá até o menu lateral esquerdo da sua área de administração do WordPress.
Procure por: Aparência > Editor (você irá editar seu tema atual, que está ativo)

6 - Agora do lado direito, localize o arquivo header.php que aparece como:
Cabeçalho do tema
(header.php)

7 - Após abrir o arquivo, encontrar a opção <head> e inserir o código onde está marcado na imagem abaixo.

8 - Clicar em ATUALIZAR ARQUIVO
Pronto, seu código de acompanhamento está instalado no WordPress, sem precisar de plugin para isso. Seu próximo passo agora é confirmar a instalação do código no painel do Google Analytics.