Comprender el sistema antes de intervenir

Quienes trabajamos en ciencias de datos creemos —a veces con demasiada fe— en los “puntos de apalancamiento”: lugares dentro de un sistema complejo (una plataforma digital, una organización, un mercado, una red logística) donde un pequeño ajuste puede generar cambios desproporcionados en los resultados.

Pero los sistemas complejos son contraintuitivos.

El error de mirar solo métricas

La mayoría de equipos se obsesionan con mejorar una métrica —CTR, conversión, churn— para descubrir meses después que estaban empujando el sistema en la dirección equivocada. Optimizaban el indicador… y deterioraban la experiencia, la confianza o la rentabilidad.

Comprender el sistema implica observar relaciones, fricciones, incentivos y tiempos. Implica abandonar la linealidad y aceptar la complejidad.

El estado del sistema: stocks y flujos

Todo sistema tiene “reservas” (stocks) y “flujos”.

En datos, un stock puede ser:

  • La base activa de usuarios.
  • El capital disponible.
  • El inventario
  • La confianza de la marca.

Y los flujos, son los que aumentan o reducen.

  • Nuevos registros o bajas.
  • Ingresos o egresos.
  • Producción y ventas.
  • Recomendaciones o quejas.

La dinámica es simple en teoría: si la entrada supera a la salida, el stock crece. Si no, disminuye. Pero lo interesante no es el flujo en sí, sino la información que lo regula.

Esto en modelos predictivos lo vemos todo el tiempo, si optimizamos con datos "retrasados" el sistema oscila. Sobreinvertimos en 'adquisición' cuando ya no era necesario o reducimos presupuesto cuando el efecto recién comenzaba a manifestarse.

Los retrasos son parte de la estructura.

Donde realmente hay apalancamiento

Intervenir en un sistema de datos tiene niveles.

De menor a mayor impacto:

Parámetros

Ajustar números: tasas, presupuestos, pesos en el modelo. Esto es lo más frecuente, pero también lo menos transformador.

Estructura de información

Quién ve qué.

Un simple cambio en visibilidad, puede alterar conductas sin tocar ningún incentivo (esto lo vemos en detalle, en behavioral science).

Un ejemplo: cuando un equipo comienza a ver en tiempo real, el costo real de adquisición por canal (incluyendo devoluciones o soporte) su comportamiento cambia sin necesidad de imponer reglas nuevas. La información crea un nuevo bucle de retroalimentación.

Cuando trabajamos con productos digitales, mostrarle al usuario su consumo, su progreso o su impacto modifica patrones más que cualquier campaña externa. La información bien ubicada es un alto punto de apalancamiento.

Reglas del sistema

Incentivos, penalizaciones, criterios de optimización.

Un modelo que optimiza por volumen genera un sistema distinto que uno que optimiza por margen o por valor de vida del cliente. La regla cambia el juego completo.

En machine learning, por ejemplo, cuando modificamos la función de pérdida* cambia el comportamiento del algoritmo, y por extensión, del negocio.

Bucles de retroalimentación positiva

Los ciclos de “éxito para los exitosos” abundan en plataformas digitales.

Más visibilidad > Más clicks > Más visibilidad

Más capital > Más inversión > Más retorno > Más capital

Reducir la 'ganancia' de estos bucles (poner límites, diversificar exposición, introducir fricción), suele ser más potente que fortalecer controles posteriores.

Objetivo del sistema

El nivel más profundo es la mentalidad que da origen al sistema.

¿Creemos que tener más datos, siempre es mejor?

¿Que automatizar es inherentemente superior?

¿Que todo puede modelarse?

Los paradigmas definen qué preguntas hacemos, qué métricas consideramos válidas y qué problemas creemos que existen.

Cuando un equipo deja de preguntar “¿cómo aumento la conversión?” y comienza a preguntar “¿qué comportamiento estamos incentivando y con qué consecuencias?”, el sistema entero cambia.

La advertencia

Cuando trabajamos con datos es tentador actuar rápido: A/B tests, optimizaciones, iteraciones semanales. Pero si no entendemos la estructura —los retrasos, los bucles, los incentivos, los objetivos— podemos estar mejorando indicadores mientras deterioramos el sistema.

Los puntos de apalancamiento existen. Pero rara vez están donde nuestra intuición los busca.