Saltar al contenido principal

Resúmenes de Revisión

La IA Generativa puede utilizarse para generar automáticamente resúmenes estructurados de los elementos de revisión. Estos resúmenes aparecerán en las notificaciones nativas de SecureVu así como en la interfaz de usuario. La IA Generativa también puede usarse para tomar una colección de resúmenes durante un período de tiempo y proporcionar un informe, lo que puede ser útil para obtener un resumen rápido de todo lo que ocurrió mientras estuvo fuera durante cierto tiempo.

Las solicitudes de resumen se realizan automáticamente a su proveedor de IA para los elementos de revisión de alertas cuando la actividad ha finalizado; también pueden habilitarse opcionalmente para las detecciones.

Los resúmenes de revisión de IA Generativa también pueden activarse o desactivarse dinámicamente para una cámara a través de MQTT.

Uso y Mejores Prácticas de Resúmenes de Revisión​

Los resúmenes de revisión proporcionan respuestas JSON estructuradas que se guardan para cada elemento de revisión:

- `title` (cadena): Un título conciso y directo que describe el propósito o la acción general (p. ej., "Persona sacando la basura", "Joe paseando al perro").
- `scene` (cadena): Una descripción narrativa de lo que ocurre a lo largo de la secuencia de principio a fin, incluyendo el entorno, los objetos detectados y sus acciones observables.
- `shortSummary` (cadena): Un breve resumen de 2 oraciones de la escena, adecuado para notificaciones. Es una versión condensada de la descripción de la escena.
- `confidence` (decimal): Confianza de 0 a 1 en el análisis. Mayor confianza cuando los objetos/acciones son claramente visibles y el contexto es inequívoco.
- `other_concerns` (lista): Lista de preocupaciones definidas por el usuario que pueden requerir investigación adicional.
- `potential_threat_level` (entero): 0, 1 o 2 según se define a continuación.

Esto se mostrará en múltiples lugares de la interfaz de usuario para proporcionar contexto adicional sobre cada actividad y permitir ver más detalles cuando se requiere atención adicional. Las notificaciones integradas de SecureVu mostrarán automáticamente el título y shortSummary cuando los datos estén disponibles, mientras que la descripción completa de scene está disponible en la interfaz de usuario para revisión detallada.

Definición de Actividad Típica​

Cada instalación e incluso cada cámara puede tener diferentes parámetros para lo que se considera actividad sospechosa. SecureVu permite que activity_context_prompt se defina globalmente y a nivel de cámara, lo que le permite definir con más precisión qué debe considerarse actividad normal. Es importante que esto no sea demasiado específico, ya que puede influir en el resultado de la respuesta.

Prompt de Contexto de Actividad Predeterminado
review:
  genai:
    activity_context_prompt: |
      ### Normal Activity Indicators (Level 0)
      - Known/verified people in any zone at any time
      - People with pets in residential areas
      - Deliveries or services during daytime/evening (6 AM - 10 PM): carrying packages to doors/porches, placing items, leaving
      - Services/maintenance workers with visible tools, uniforms, or service vehicles during daytime
      - Activity confined to public areas only (sidewalks, streets) without entering property at any time

      ### Suspicious Activity Indicators (Level 1)
      - **Testing or attempting to open doors/windows/handles on vehicles or buildings** — ALWAYS Level 1 regardless of time or duration
      - **Unidentified person in private areas (driveways, near vehicles/buildings) during late night/early morning (11 PM - 5 AM)** — ALWAYS Level 1 regardless of activity or duration
      - Taking items that don't belong to them (packages, objects from porches/driveways)
      - Climbing or jumping fences/barriers to access property
      - Attempting to conceal actions or items from view
      - Prolonged loitering: remaining in same area without visible purpose throughout most of the sequence

      ### Critical Threat Indicators (Level 2)
      - Holding break-in tools (crowbars, pry bars, bolt cutters)
      - Weapons visible (guns, knives, bats used aggressively)
      - Forced entry in progress
      - Physical aggression or violence
      - Active property damage or theft in progress

      ### Assessment Guidance
      Evaluate in this order:

      1. **If person is verified/known** → Level 0 regardless of time or activity
      2. **If person is unidentified:**
        - Check time: If late night/early morning (11 PM - 5 AM) AND in private areas (driveways, near vehicles/buildings) → Level 1
        - Check actions: If testing doors/handles, taking items, climbing → Level 1
        - Otherwise, if daytime/evening (6 AM - 10 PM) with clear legitimate purpose (delivery, service worker) → Level 0
      3. **Escalate to Level 2 if:** Weapons, break-in tools, forced entry in progress, violence, or active property damage visible (escalates from Level 0 or 1)

      The mere presence of an unidentified person in private areas during late night hours is inherently suspicious and warrants human review, regardless of what activity they appear to be doing or how brief the sequence is.

Fuente de Imagen​

De forma predeterminada, los resúmenes de revisión utilizan imágenes de vista previa (fotogramas de vista previa en caché) que tienen una resolución más baja pero usan menos tokens por imagen. Para una mejor calidad de imagen y un análisis más detallado, puede configurar SecureVu para extraer fotogramas directamente de las grabaciones con una resolución más alta:

review:
  genai:
    enabled: true
    image_source: recordings # Options: "preview" (default) or "recordings"

Al usar recordings, los fotogramas se extraen a una altura de 480 píxeles mientras se mantiene la relación de aspecto original de la cámara, proporcionando mejor detalle para el LLM mientras se cuida el tamaño de la ventana de contexto. Esto es especialmente útil en escenarios donde los detalles finos importan, como identificar matrículas, leer texto o analizar objetos distantes.

El número de fotogramas enviados al LLM se calcula dinámicamente en función de:

  • El tamaño de la ventana de contexto de su proveedor LLM
  • La resolución y relación de aspecto de la cámara (las cámaras ultrawide como 32:9 usan más tokens por imagen)
  • La fuente de imagen (las grabaciones usan más tokens que las imágenes de vista previa)

Los recuentos de fotogramas se optimizan automáticamente para usar aproximadamente el 98% de la ventana de contexto disponible con un máximo de 20 fotogramas para garantizar tiempos de inferencia razonables. Tenga en cuenta que usar grabaciones:

  • Proporcionará imágenes de mayor calidad al LLM (480p vs imágenes de vista previa de 180p)
  • Usará más tokens por imagen debido a la mayor resolución
  • Resultará en menos fotogramas enviados para cámaras ultrawide debido al mayor tamaño de imagen
  • Requerirá que las grabaciones estén habilitadas para la cámara

Si las grabaciones no están disponibles para un período de tiempo determinado, el sistema recurrirá automáticamente al uso de fotogramas de vista previa.

Preocupaciones Adicionales​

Junto con la preocupación por actividad sospechosa o amenaza inmediata, puede tener preocupaciones como animales en su jardín o una puerta dejada abierta. Estas preocupaciones pueden configurarse para que los resúmenes de revisión las tengan en cuenta si la actividad requiere revisión adicional. Por ejemplo:

review:
  genai:
    enabled: true
    additional_concerns:
      - animals in the garden

Idioma Preferido​

De forma predeterminada, los resúmenes de revisión se generan en inglés. Puede configurar SecureVu para generar resúmenes en su idioma preferido configurando la opción preferred_language:

review:
  genai:
    enabled: true
    preferred_language: Spanish

Informes de Revisión​

Junto con los resúmenes individuales de elementos de revisión, la IA Generativa también puede producir un único informe de elementos de revisión de todas las cámaras marcados como "sospechosos" durante un período de tiempo especificado (por ejemplo, un resumen diario de actividad sospechosa mientras está de vacaciones).

Solicitud de Informes de Forma Programática​

Los informes de revisión pueden solicitarse a través de la API enviando una solicitud POST a /api/review/summarize/start/{start_ts}/end/{end_ts} con marcas de tiempo Unix.

Para los usuarios de Home Assistant, hay un servicio integrado (securevu.review_summarize) que facilita la solicitud de informes de revisión como parte de automatizaciones o scripts. Esto le permite generar automáticamente resúmenes diarios, informes de vacaciones o informes de períodos de tiempo personalizados según sus necesidades específicas.