Saltar al contenido principal

Descripciones de Objetos

La IA Generativa puede utilizarse para generar automáticamente texto descriptivo basado en las miniaturas de sus objetos rastreados. Esto ayuda con la Búsqueda Semántica en SecureVu para proporcionar más contexto sobre sus objetos rastreados. Las descripciones son accesibles a través de la vista Explorar en la interfaz de usuario de SecureVu haciendo clic en la miniatura de un objeto rastreado.

Las solicitudes de descripción se envían automáticamente a su proveedor de IA al final del ciclo de vida del objeto rastreado, o pueden enviarse opcionalmente antes después de un número de fotogramas con cambios significativos, por ejemplo para uso en notificaciones más en tiempo real. Las descripciones también pueden regenerarse manualmente a través de la interfaz de usuario de SecureVu. Tenga en cuenta que si introduce manualmente una descripción para objetos rastreados antes de su fin, esta será sobreescrita por la respuesta generada.

De forma predeterminada, se generarán descripciones para todos los objetos rastreados y todas las zonas. Pero también puede especificar opcionalmente objects y required_zones para generar descripciones solo para ciertos objetos rastreados o zonas.

Opcionalmente, puede generar la descripción usando una instantánea (si está habilitada) configurando use_snapshot en True. De forma predeterminada, esto está configurado en False, lo que envía las imágenes sin comprimir del flujo detect recopiladas durante la vida útil del objeto al modelo. Una vez que finaliza el ciclo de vida del objeto, solo se guarda una única miniatura comprimida y recortada con el objeto rastreado. Usar una instantánea puede ser útil cuando desea regenerar la descripción de un objeto rastreado, ya que proporcionará a la IA una imagen de mayor calidad (típicamente reducida por la propia IA) que la miniatura recortada/comprimida. El uso de una instantánea tiene la contrapartida de que solo se envía una imagen a su proveedor, lo que limitará la capacidad del modelo para determinar el movimiento o la dirección del objeto.

Las descripciones de objetos de IA Generativa también pueden activarse o desactivarse dinámicamente para una cámara a través de MQTT con el tema securevu/<camera_name>/object_descriptions/set. Consulte la documentación de MQTT.

Uso y Mejores Prácticas​

La búsqueda por miniatura de SecureVu destaca en la identificación de detalles específicos sobre objetos rastreados — por ejemplo, usando un enfoque de "pie de foto" para encontrar una "persona con chaleco amarillo", "un perro blanco corriendo por el césped" o "un coche rojo en una calle residencial". Para mejorar esto aún más, los prompts predeterminados de SecureVu están diseñados para preguntarle a su proveedor de IA sobre la intención detrás de las acciones del objeto, en lugar de simplemente describir su apariencia.

Si bien generar descripciones simples de los objetos detectados es útil, comprender la intención proporciona una capa más profunda de información. En lugar de simplemente reconocer "qué" hay en una escena, los prompts predeterminados de SecureVu buscan inferir "por qué" podría estar ahí o "qué" podría hacer a continuación. Las descripciones le dicen lo que está sucediendo, pero la intención da contexto. Por ejemplo, una persona que camina hacia una puerta puede parecer un visitante, pero si se mueve rápidamente fuera del horario habitual, puede inferir un posible intento de allanamiento. Detectar a una persona merodeando cerca de una puerta por la noche puede activar una alerta antes que simplemente anotar "una persona de pie junto a la puerta", ayudándole a responder según el contexto de la situación.

Prompts Personalizados​

SecureVu envía múltiples fotogramas del objeto rastreado junto con un prompt a su proveedor de IA Generativa pidiéndole que genere una descripción. El prompt predeterminado es el siguiente:

Analyze the sequence of images containing the {label}. Focus on the likely intent or behavior of the {label} based on its actions and movement, rather than describing its appearance or the surroundings. Consider what the {label} is doing, why, and what it might do next.
tip

Los prompts pueden usar reemplazos de variables {label}, {sub_label} y {camera} para sustituir información del objeto rastreado como parte del prompt.

También puede definir prompts personalizados en su configuración.

genai:
  provider: ollama
  base_url: http://localhost:11434
  model: qwen3-vl:8b-instruct

objects:
  genai:
    prompt: "Analyze the {label} in these images from the {camera} security camera. Focus on the actions, behavior, and potential intent of the {label}, rather than just describing its appearance."
    object_prompts:
      person: "Examine the main person in these images. What are they doing and what might their actions suggest about their intent (e.g., approaching a door, leaving an area, standing still)? Do not describe the surroundings or static details."
      car: "Observe the primary vehicle in these images. Focus on its movement, direction, or purpose (e.g., parking, approaching, circling). If it's a delivery vehicle, mention the company."

Los prompts también pueden sobreescribirse a nivel de cámara para proporcionar un prompt más detallado al modelo sobre su cámara específica, si lo desea.

cameras:
  front_door:
    objects:
      genai:
        enabled: True
        use_snapshot: True
        prompt: "Analyze the {label} in these images from the {camera} security camera at the front door. Focus on the actions and potential intent of the {label}."
        object_prompts:
          person: "Examine the person in these images. What are they doing, and how might their actions suggest their purpose (e.g., delivering something, approaching, leaving)? If they are carrying or interacting with a package, include details about its source or destination."
          cat: "Observe the cat in these images. Focus on its movement and intent (e.g., wandering, hunting, interacting with objects). If the cat is near the flower pots or engaging in any specific actions, mention it."
        objects:
          - person
          - cat
        required_zones:
          - steps

Experimente con los prompts​

Muchos proveedores también tienen una interfaz de chat pública para sus modelos. Descargue un par de miniaturas o instantáneas diferentes de SecureVu y pruebe cosas nuevas en el entorno de pruebas para obtener descripciones de su agrado antes de actualizar el prompt en SecureVu.