La idea no empezó con inteligencia artificial. Empezó mientras buscaba una pregunta para mi proyecto final de Data Analytics & AI y me encontré con un post sobre el crecimiento de los vendedores independientes en Amazon. Allí se mencionaba que, en 2023, más de 10.000 vendedores independientes habían superado por primera vez el millón de dólares en ventas y que, para 2025, esa cifra había crecido hasta más de 75.000; el mismo material señalaba además un crecimiento del 36% durante el último año.
Lo que me llamó la atención no fue solamente el tamaño de Amazon ni la magnitud de esas cifras. Detrás de cada vendedor que consigue crecer en un entorno así hay una empresa intentando comprender suficientemente bien a sus clientes, su producto y a quienes compiten por la misma compra. Llegar a una posición relevante es difícil; conservarla cuando el cliente puede comparar precios, productos y experiencias en segundos probablemente lo sea todavía más.
Amazon ofrecía además un contexto difícil de ignorar. Miles de productos compiten delante del mismo cliente, las diferencias de precio son visibles y las alternativas están a un clic. Debajo de cada producto ocurre algo todavía más interesante: cientos o miles de personas explican, con sus propias palabras, qué valoran, qué las decepcionó, qué funcionó, qué falló y por qué volverían —o no— a comprar.
Toda esa información está disponible. El problema empieza cuando dejamos de leer diez o veinte opiniones y queremos comprender miles de ellas de forma consistente. En ese momento, las reviews dejan de ser simplemente comentarios individuales y empiezan a parecerse a una fuente potencial de customer y competitive intelligence.
Mi primera idea podía haberse quedado en un ejercicio de sentiment analysis, algo razonable dentro de un programa de Data Analytics & AI. Sin embargo, cuanto más pensaba en el problema, menos me interesaba saber simplemente si una review era positiva o negativa. Lo que quería entender era si esas opiniones podían ayudar a identificar dónde una marca parecía ganar, dónde parecía perder y con qué nivel de evidencia podía sostenerse esa conclusión.
Ese cambio terminó modificando el proyecto. El objetivo dejó de ser utilizar una tecnología y pasó a ser construir una forma defendible de convertir lenguaje desestructurado de clientes en información que pudiera aportar contexto a una decisión. La pregunta central terminó siendo bastante sencilla de formular: si una marca compitiera en este segmento, ¿dónde estaría ganando y dónde estaría perdiendo frente a sus competidores directos según lo que los propios clientes están diciendo?
Pero había una segunda parte de la pregunta que terminaría siendo todavía más importante: ¿cómo distinguir una señal competitiva real de una diferencia que simplemente parece interesante porque apareció en una determinada muestra?
Llevar la pregunta a un mercado real
Para comprobarlo necesitaba dejar de hablar de “productos” y “competidores” en abstracto. Elegí el segmento de audífonos premium over-ear con cancelación activa de ruido y utilicé a Sennheiser como marca ancla frente a Bose, Sony, Bang & Olufsen y Bowers & Wilkins. La elección de Sennheiser tenía además una conexión con el contexto desde el que desarrollaba el proyecto: su sede se encuentra en Wedemark, cerca de Hannover, y la compañía nació vinculada a la ingeniería desarrollada en la región.
Sennheiser no fue un cliente real. Ninguna de las cinco compañías encargó, participó o fue informada del análisis; se trató originalmente de mi proyecto final del Weiterbildung y posteriormente continué refinándolo como pieza profesional de portfolio. Utilizar una empresa y un mercado reales permitía formular mejor la pregunta, pero no convertía un proyecto académico en una experiencia comercial que nunca ocurrió.
La fuente fue Amazon Reviews 2023, el dataset público desarrollado por McAuley Lab en UC San Diego. A partir de la categoría Electronics construí un corpus específico para las líneas premium de las cinco marcas, aplicando filtros de producto y un precio mínimo de 150 dólares. Después de la limpieza y de eliminar diez duplicados estrictos, el conjunto final quedó formado por 2.302 reviews reales.
Llegar a esas 2.302 reviews fue menos trivial de lo que parecía. Una primera versión de los filtros llegó a clasificar productos AKG como si fueran Sennheiser, mientras que otro filtro demasiado amplio produjo 1.154 coincidencias para Sony, algo poco creíble si el objetivo era estudiar únicamente su línea premium ANC. El dataset cubre muchos años de productos y un criterio demasiado genérico puede terminar mezclando artículos que contienen la palabra correcta pero que no pertenecen realmente al mismo competitive set.
La solución fue abandonar los filtros generales y trabajar con líneas concretas: Momentum para Sennheiser, QuietComfort para Bose, WH-1000X para Sony y las correspondientes familias para las demás marcas. No fue la parte técnicamente más sofisticada del proyecto, pero terminó siendo una de las decisiones más importantes. Si la realidad que estamos midiendo está mal definida, ninguna sofisticación posterior rescata el análisis; sólo nos permite equivocarnos con mayor precisión.
Antes de dejar que la AI analizara miles de opiniones
Una vez construido el corpus aparecía una pregunta incómoda. Un modelo de lenguaje podía interpretar miles de reviews mucho más rápido que yo, pero velocidad y confiabilidad no son lo mismo. Si la parte central del sistema iba a depender de la interpretación de una AI, necesitaba alguna forma de comprobar primero qué tan cerca estaba de una evaluación humana.
Seleccioné una muestra de 200 reviews, 40 por marca, y las etiqueté manualmente. Cada una fue evaluada por su sentimiento general y por siete dimensiones del producto: calidad de sonido, cancelación de ruido, batería, comodidad, diseño y construcción, relación calidad-precio y software/conectividad. Ese conjunto se convirtió en el ground truthcontra el cual podían evaluarse posteriormente los modelos.
El propio proceso de etiquetado hizo que el diseño evolucionara. Inicialmente había definido seis aspectos, pero comenzaron a aparecer suficientes comentarios sobre Bluetooth, firmware, aplicaciones y conectividad como para dejar claro que estaba ignorando una dimensión relevante de la experiencia del cliente. Software/connectivity se convirtió entonces en la séptima categoría, no porque necesitara añadir otra variable al dashboard, sino porque las reviews mostraban que mi esquema inicial era incompleto.
Después comparé dos modelos —Llama 3.3 70B y GPT-OSS 120B— contra las mismas 200 reviews. Antes de ejecutar el bake-off establecí los criterios que determinarían si un modelo era suficientemente bueno, incluyendo error frente al juicio humano, precisión de polaridad, inversiones severas de sentimiento y nivel de acuerdo en la detección de aspectos. Definir esas reglas antes de conocer el resultado no era un detalle metodológico menor: evitaba que el criterio pudiera acomodarse posteriormente alrededor del modelo que resultara más conveniente.
Si decides qué significa “suficientemente bueno” después de conocer los resultados, ya no estás solamente evaluando. También corres el riesgo de racionalizar aquello que quieres elegir.
Los dos modelos superaron los criterios obligatorios y la comparación estadística entre ellos produjo un p-value de 0,757. En otras palabras, no había evidencia suficiente para declarar un ganador estadístico. Eso convirtió la decisión en algo más interesante: si ambos eran suficientemente buenos para la tarea, había que considerar también velocidad, confiabilidad operativa, comportamiento en casos ambiguos y costo real de ejecución.
Llama 3.3 70B terminó siendo el modelo seleccionado. GPT-OSS presentaba un mejor acuerdo en detección de aspectos, pero Llama fue aproximadamente tres veces más rápido por review, necesitó menos reintentos de schema y mostró un mejor comportamiento en determinados casos neutrales. Incluso el argumento económico tuvo que corregirse: una lectura inicial sugería una diferencia de costo considerable, pero al contabilizar input y output completos la ventaja real de GPT-OSS era de apenas siete centavos sobre las 2.302 reviews.
Aquella corrección fue pequeña en términos económicos, pero importante en términos de método. El proyecto empezaba a establecer una pauta: las decisiones iniciales podían cambiar cuando aparecía mejor evidencia, y documentar esa corrección era preferible a preservar una narrativa más limpia.
Cuando los datos contradicen una historia razonable
Con el modelo seleccionado procesé las 2.302 reviews y construí las comparaciones entre marcas. Allí apareció uno de los momentos que más terminaron definiendo el proyecto, porque una de mis hipótesis iniciales parecía bastante razonable: Sennheiser tiene una identidad fuertemente vinculada con ingeniería y calidad de audio, mientras que Bang & Olufsen y Bowers & Wilkins poseen una presencia más visible alrededor del diseño, los materiales y el posicionamiento premium.
Esperaba, por tanto, encontrar una división relativamente clara entre esos territorios. Pero dentro de la muestra analizada, Sennheiser presentaba el porcentaje más alto de menciones relacionadas con diseño y comodidad entre las cinco marcas. En lugar de confirmar que estaba cediendo ese espacio a competidores más asociados con diseño, las reviews mostraban que sus propios clientes hablaban de esa dimensión con mayor frecuencia de lo que había anticipado.
Era un hallazgo descriptivo, no una prueba causal ni una comparación estadística formal, pero bastaba para responder la hipótesis tal como había sido formulada. La idea inicial era razonable. También estaba equivocada. Y esa diferencia —entre tener una hipótesis razonable y tener evidencia para sostenerla— terminaría siendo central en el proyecto.
Un segundo resultado fue todavía más instructivo. Sennheiser aparecía con el puntaje promedio más alto en calidad de sonido, exactamente el tipo de resultado que encajaba con la reputación de la marca y con la narrativa de ingeniería que rodeaba el caso. Era claro, intuitivo y favorable a la compañía que había elegido como referencia.
Precisamente por eso necesitaba someterlo al mismo estándar utilizado para los resultados desfavorables. Cuando calculé los intervalos de confianza mediante bootstrap, la ventaja frente a Bose dejó de sostenerse: el intervalo cruzaba el cero. Sennheiser seguía mostrando el promedio más alto, pero la evidencia ya no permitía defender que existiera una ventaja estadística en sonido.
La conclusión correcta era más modesta: con esta muestra y este nivel de incertidumbre, no existía evidencia suficiente para afirmar que Sennheiser superara a sus competidores en calidad de sonido. El hallazgo más atractivo era también el que debía abandonar.
No considero que aquello debilitara el proyecto. Al contrario, fue uno de los momentos en los que el análisis comenzó a demostrar algo más útil que la capacidad de producir resultados. Si aplicamos rigor únicamente cuando los datos contradicen aquello que queremos creer, el rigor deja de ser un método y se convierte en decoración.
Lo que sí sobrevivió al escrutinio
Otros resultados sí resistieron la revisión. En cancelación de ruido, Sennheiser presentaba el promedio más bajo de las cinco marcas y, más importante todavía, la brecha frente a Bose y Sony —los dos referentes más fuertes de ANC dentro de esta muestra— se mantenía estadísticamente significativa. Frente a Bang & Olufsen y Bowers & Wilkins, en cambio, la diferencia no podía sostenerse del mismo modo.
La interpretación correcta, por tanto, no era que Sennheiser estuviera “peor que toda la industria”. Lo que los datos permitían afirmar era algo más específico: en esta muestra, su percepción de ANC se encontraba aproximadamente en el mismo grupo que Bowers & Wilkins y Bang & Olufsen, pero claramente por debajo de Bose y Sony. Ese matiz cambia menos el titular que el significado, y precisamente por eso importa.
La batería mostraba otra señal. Sennheiser ocupaba también la última posición por promedio, aunque la diferencia que puede afirmarse con seguridad como estadísticamente confirmada es la comparación frente a Sony. Otras dimensiones presentaban resultados interesantes —por ejemplo, relación calidad-precio o software/conectividad—, pero no fueron sometidas al mismo conjunto de pruebas inferenciales y por eso deben permanecer como hallazgos descriptivos.
“Tiene el promedio más alto” no significa necesariamente “posee una ventaja competitiva demostrada”. Del mismo modo, “ocupa la última posición” no significa automáticamente “es significativamente peor que todos los competidores”. Aprender a preservar esa diferencia de lenguaje terminó siendo tan importante como producir las cifras.
Encontrar señales que desaparecen dentro de un promedio
El proyecto incorporó también una capa experimental destinada a detectar posibles anomalías de seguridad que podían quedar invisibles dentro de cualquier promedio. Una incidencia aislada relacionada con sobrecalentamiento, una batería o un problema eléctrico difícilmente movería una métrica agregada de satisfacción, pero eso no significa que carezca de relevancia para quien analiza el producto.
La primera versión del detector utilizaba palabras clave y produjo 37 candidatos. Muy pronto apareció el problema: en el lenguaje cotidiano de las reviews había expresiones perfectamente normales en audio, comodidad o emoción que activaban las reglas sin representar ningún incidente. El detector estaba encontrando palabras, pero no necesariamente significado.
Después de exigir mayor contexto alrededor de esas palabras, los candidatos se redujeron a seis. Revisé manualmente cada uno y tres correspondían realmente a señales que merecían atención, mientras que los otros tres seguían siendo falsos positivos. En la versión pública decidí no identificar las marcas relacionadas con esos incidentes, porque se trata de reviews individuales sin corroboración externa y no existe base suficiente para convertirlas en una afirmación general sobre la seguridad de ninguna compañía.
Pero la experiencia reveló una limitación todavía más importante. Los falsos positivos son visibles porque el detector marca un caso y después podemos comprobar que estaba equivocado; los falsos negativos son diferentes. Si una review describe un problema real utilizando palabras que las reglas no contemplan, simplemente no aparece entre los candidatos y no tenemos manera de saber cuántos casos así pudieron quedar fuera.
Una señal puede ser demasiado pequeña para alterar un promedio y, aun así, suficientemente importante como para merecer atención. Pero detectar algo no significa haber demostrado su frecuencia, su causa ni su alcance.
Ese límite quedó incorporado al roadmap en lugar de ocultarse como una debilidad incómoda.
Del hallazgo a la decisión hay una distancia
A medida que avanzaba el proyecto apareció otra pregunta que inicialmente no estaba tan presente: incluso suponiendo que el análisis hubiera identificado señales correctas, ¿qué debería hacer realmente una empresa con ellas? La diferencia importa porque un análisis puede mejorar una decisión sin estar en condiciones de tomarla.
Si las reviews muestran una brecha consistente de percepción de ANC frente a Bose y Sony, un product manager podría razonablemente decidir que vale la pena investigar el problema con mayor profundidad. Sería muy distinto concluir, únicamente a partir de estas reviews, que la compañía debería rediseñar inmediatamente el hardware. Una decisión de ese tipo puede ser costosa y difícil de revertir, y necesitaría triangular la señal con información adicional como devoluciones, garantías, soporte al cliente, encuestas propias o investigación de mercado con una muestra diferente.
Las Amazon Reviews pueden ayudar a indicar dónde mirar. No necesariamente pueden decidir qué hacer.
Esa frontera terminó siendo una de las partes más importantes del trabajo. Es fácil pedirle a un análisis más autoridad de la que posee: los datos pueden reducir incertidumbre, revelar una anomalía, comparar alternativas o cuestionar una hipótesis, pero eso no significa que una única fuente pública pueda reemplazar todo el contexto operativo, financiero, técnico y estratégico que una organización necesita para una decisión importante.
En ese sentido, el resultado más útil del proyecto no fue producir siete rankings. Fue aprender a separar con mayor precisión lo que los datos permitían afirmar, lo que razonablemente podían sugerir y aquello para lo cual todavía necesitábamos más evidencia.
Lo que este proyecto demuestra —y lo que todavía no
El proyecto terminó recorriendo un proceso completo: definición del problema, exploración y recolección de datos, limpieza en SQL, construcción manual del ground truth, evaluación comparativa de modelos, procesamiento de las 2.302 reviews, pruebas estadísticas, análisis competitivo y comunicación mediante un informe ejecutivo y un dashboard público. Técnicamente seguí las seis fases de CRISP-DM y una arquitectura de datos bronze/silver/gold; Python, MySQL, modelos de lenguaje, estadística y Tableau formaron parte del proceso, pero ninguno de ellos fue por sí solo el propósito del trabajo.
También existen límites importantes. Amazon es una sola fuente y el dataset utilizado termina en septiembre de 2023; el ground truth fue etiquetado por un único anotador; la población total disponible es desconocida para cuatro de las cinco marcas; algunas líneas reúnen distintas generaciones de producto y Sennheiser presenta una cobertura de precio incompleta dentro del dataset. Ninguno de esos elementos invalida automáticamente el análisis, pero sí condiciona cuánto puede afirmarse a partir de él.
Tampoco puedo afirmar todavía que el sistema funcione para cualquier categoría. Varias partes de la arquitectura fueron diseñadas para reutilizarse —la conexión con distintos proveedores de AI, el patrón de resiliencia, el protocolo de evaluación de modelos, la capa estadística y la preparación de datos—, pero el esquema de siete aspectos, el prompt y los filtros de productos pertenecen específicamente al mercado de audífonos. Cambiar de categoría exige volver a comprender qué importa medir antes de reutilizar la infraestructura.
Por eso prefiero hablar de una arquitectura diseñada para ser reutilizable, no de una reusabilidad ya demostrada. Existe una diferencia importante entre construir algo con la intención de que pueda generalizarse y haber comprobado que realmente lo hace.
Ese matiz también define lo que el proyecto representa hoy. Nació como trabajo final de un programa de Data Analytics & AI y después continuó evolucionando como una pieza de portfolio y evidencia profesional. Se exploró la posibilidad de llevarlo hacia un servicio comercial, pero la evaluación posterior del mercado mostró que V1 no debía comercializarse tal como estaba; su valor actual está en el trabajo realizado, la metodología, la evidencia producida y las preguntas que permite seguir desarrollando.
V2: cambiar el contexto antes de ampliar el sistema
La siguiente iteración seguirá trabajando con Amazon Reviews. Cambiarán, sin embargo, la categoría de producto y la marca utilizada como referencia; todavía no he decidido cuáles serán. El propósito de V2 no es añadir nuevas plataformas ni convertir inmediatamente el proyecto en un sistema universal, sino comprobar qué sucede cuando la misma lógica metodológica se enfrenta a un dominio diferente.
Eso significa volver a plantear preguntas que ahora parecen resueltas. ¿Sigue funcionando adecuadamente el protocolo de validación cuando cambian las dimensiones relevantes del producto? ¿Qué partes de la arquitectura permanecen estables y cuáles necesitan rediseño? ¿La separación entre hallazgo, interpretación y recomendación continúa siendo suficientemente robusta cuando el lenguaje de los clientes y los problemas del mercado son otros?
V2 no debería demostrar que V1 tenía razón. Debería poner a prueba qué partes de V1 merecen sobrevivir.
Hay además dos mejoras concretas ya identificadas. La primera es reemplazar el detector de alertas basado en keywords por una evaluación contextual incorporada al análisis normal de cada review, atendiendo directamente a una de las limitaciones más claras de V1. La segunda es reorganizar el dashboard público para separar una vista de resumen de otra de detalle, de modo que un usuario pueda reconocer los principales hallazgos rápidamente y profundizar sólo cuando lo necesite.
Existe también una ambición posterior, pero pertenece a otra etapa. Una vez que la línea Amazon Reviews V1/V2 haya sido suficientemente desarrollada y cerrada, me interesa explorar si esta lógica puede evolucionar hacia un sistema más amplio de customer & competitive intelligence capaz de trabajar con reviews procedentes de otras fuentes, como Google Maps, Yelp o TripAdvisor. Eso exigiría resolver nuevos problemas de adquisición, estructura y comparabilidad de datos y todavía no existe una arquitectura definida para hacerlo.
Esa posibilidad es una dirección futura, no una capacidad actual. V2 sigue siendo Amazon Reviews; la generalización multi-plataforma vendría después y tendría que ganarse con nueva evidencia.
Lo que me queda después de 2.302 Amazon Reviews
Cuando empecé, la pregunta parecía estar relacionada con Amazon, sentiment analysis e inteligencia artificial. Después de 2.302 reviews, dos modelos, siete dimensiones, varias hipótesis y algunas conclusiones que tuve que abandonar, el aprendizaje que más me interesa conservar tiene menos que ver con una herramienta concreta.
La tecnología permitió procesar información a una escala que manualmente habría sido difícil abordar. La estadística ayudó a separar algunas señales del ruido. Pero ninguna de las dos eliminó la necesidad de definir correctamente el problema, cuestionar una hipótesis razonable, reconocer una limitación o decidir que un resultado atractivo no tenía evidencia suficiente para convertirse en conclusión.
Los datos son útiles cuando nos permiten ver algo que antes no veíamos. Se vuelven todavía más valiosos cuando nos obligan a dejar de ver algo que sólo creíamos cierto.
Quizá ahí esté la parte del proyecto que más vale la pena conservar. No en haber construido un sistema que siempre encuentra respuestas, sino en haber construido uno que también puede obligarme a revisar las mías.
Este proyecto fue desarrollado originalmente como trabajo final de un programa de Data Analytics & AI y posteriormente refinado como pieza profesional de portfolio. Utiliza el dataset público Amazon Reviews 2023 de McAuley Lab, UC San Diego. Sennheiser, Bose, Sony, Bang & Olufsen y Bowers & Wilkins no participaron ni encargaron el análisis.
El estudio de caso completo, los detalles de la metodología y el tablero interactivo de este proyecto están disponibles en GitHub y Tableau Public.
Comments are closed.