En el mundo de la realidad aumentada, el rendimiento del dispositivo se mide de manera algo diferente a como lo haríamos con un iPhone o una Mac. Su forma de interacción hace que ciertas métricas sean más relevantes, y su capacidad para replicar de manera convincente y cómoda la experiencia del mundo real se evalúa en gran medida. Uno de los factores más críticos en esta simulación constante es la latencia, es decir, el retraso entre una acción de nuestra parte y la respuesta del sistema.
El Apple Vision Pro, como se esperaba, tiene cierta latencia. ¿Cuánta? Los tests nos muestran una latencia negativa, un concepto que puede parecer contradictorio pero es crucial en el contexto de la realidad aumentada avanzada.
Comprendiendo la Latencia en la Realidad Aumentada
La latencia en dispositivos de realidad aumentada se puede dividir en dos categorías principales: latencia de visión directa (o latencia de transparencia) y latencia de movimiento angular. La primera se refiere al tiempo que tarda una imagen capturada por cámaras externas en ser procesada y mostrada a nuestros ojos, permitiéndonos ver el entorno real a través del casco. La segunda está relacionada con el retraso entre el movimiento físico de nuestra cabeza y la actualización correspondiente en la imagen que vemos como resultado.
El Vision Pro utiliza múltiples cámaras externas para capturar el entorno y mostrárnoslo. Según las pruebas realizadas por Optofidelity, una empresa especializada en pruebas de este tipo, el Vision Pro tiene una latencia de visión directa de alrededor de 11 milisegundos, mejor que las cifras que Apple publica oficialmente.
El fenómeno de la latencia negativa
Negative latency is a phenomenon that arises in the measurement of angular motion latency. This type of latency becomes negative thanks to the predictive algorithms used by Vision Pro systems. These algorithms work by predicting the direction and speed of our head movement, adjusting the displayed image before we complete the movement ourselves.
Si se predice correctamente, el resultado es que la imagen mostrada puede estar por delante de nuestro punto de vista actual, creando un retraso negativo. Esto significa que la imagen se actualiza en la pantalla antes de que lleguemos físicamente a esa posición, reduciendo obviamente la percepción de retraso.
Negative latency, when properly controlled and not excessive, is a technical achievement and, as a metric, has direct implications on the user experience. In theory, a device with the ability to offer slightly negative latency can provide a smoother and more natural experience, reducing dizziness and other discomfort symptoms associated with augmented reality. Additionally, this capability is particularly relevant in applications and uses that require quick and accurate responses, such as flight simulators or medical training, to name just a couple of examples.
The objective is clear, to adjust the motion prediction algorithms for greater accuracy and reliability, but in the meantime, being able to anticipate what the cameras will see is interesting. Interesting because, once the prediction is adapted to our motion patterns, we will have a virtually zero lag.
This adjustment takes up only one sentence in the explanation but it is a challenge for the development of Vision Pro. In this sense, we can remember the spatial audio system that Apple presented to us for the AirPods some time ago. Using the accelerometers of the headphones, the AirPods manage to fix the audio source in a position in space. Something they achieve, precisely, by rotating said audio source around us according to the movement of our head.
En el contexto de Vision Pro y su latencia, esta funcionalidad —que es mucho más fácil de lograr con música— ha servido a Apple como campo de pruebas y entrenamiento para afinar los algoritmos de predicción que ahora permiten una latencia cero o negativa en su primer ordenador espacial.
However, the negative latency in devices like the Vision Pro emphasizes the level of technology needed for the correct implementation of augmented reality. Although there are still challenges to overcome, advancements in this field promise to make the way we interact with digital environments as smooth as the reality they enhance. This not only enhances applications in entertainment or education, but also in professional and technical fields where precision and real-time response are essential.
