Um ácido é um composto que contém hidrogênio e reage com água para formar íons hidrogênio. Exemplo HCl.
Uma base é um composto que contém produz íons hidróxido na água. Ex. NaOH

A reação de neutralização seria a reação entre essas duas espécies iônicas, produzindo água:
H⁺(aq) + OH⁻(aq) = H2O(l)
O problema com as definições de Arrhenius é que são específicas para a água como solvente e não pode ser aplicada para sistemas sólidos. Mesmo com esta limitação, esta teoria foi muito importante, pois além de explicar uma variedade de fenômenos já conhecidos, possibilitou o desenvolvimento de outras linhas de pesquisa, inclusive contribuindo para estabelecer as bases científicas da química analítica. Podemos citar como exemplos: a  aplicação da lei de ação das massas a equilíbrios iônicos e a obtenção da lei de diluição de Ostwald; a equação de Nernst, que relaciona a força eletromotriz das pilhas com a concentração dos íons; o efeito tampão; o primeiro estudo quantitativo de um indicador; o conceito de pH, etc. 

Fonte: 
Chagas, A.P., Teorias Ácido-Base do Século XX,  Química Nova na Escola, n° 9, 1999, p.28-30
Atkins, P., Jones, L., Princípios de Química. Questionando a vida moderna e o meio ambiente, Porto Alegre: Bookman, 2001