Digamos que P(x)=ax^2+bx+c con a,b,c no negativos
Si P(xy)^2 fuera menor o igual a P(x^2)*P(y^2) tendríamos que P(x^2)*P(y^2)-P(xy)^2 es mayor a 0
Desarrollando la ecuación P(x^2)*P(y^2)-P(xy)^2 obtenemos ab(x-y)^2+ac(x^2-y^2)^2+bc(x-y)^2 lo cual es mayor o igual a 0 porque a,b,c son no negativos y todos los cuadrados son mayores o iguales a 0, por lo tanto se cumple y queda demostrado
Si tienes [tex]p \Rightarrow q[/tex] y pruebas que [tex]q[/tex] es verdadero, no significa que [tex]p[/tex] lo sea (en este caso se tiene [tex]p \Leftrightarrow q[/tex], por lo que al probar un lado se prueba el otro, pero en el caso general no se cumple). Por otro lado, ¿Estás seguro de que es [tex]ab(x-y)^2[/tex] y no [tex]abx^2y^2(x-y)^2[/tex]? (en este caso tampoco afecta, ya que como dices los cuadrados de reales son [tex]\geq 0[/tex], pero de todos modos hay que tener cuidado). Fuera de eso, la solución está bien.
P.D: Intenta usar latex pls, por temas de formato.