Comenzamos 2021, y eso supone el principio de alguna nueva década. La década de los 20. Una década que inicia este 2021 y que terminará en 2030. Si podemos mencionar alguna tecnología clave que ha autorizado definir la pasada década de los diez del siglo XXI, esta ha sido sin duda la tecnología móvil. Desde 2011 inclusive 2020, ha sido el teléfono y la movilidad en sí la que ha recibido toda la atención y ha cambiado vuestra figura de comprender e interactuar con vuestro mundo.
Hemos pasado de usar los celulares para cosas básicas a usarlos para todo: comunicarnos, jugar, hacer fotografías, oír música, ver vídeos, series u películas, gestionar vuestra productividad, vuestro trabajo, vuestra vida… el teléfono se ha convertido en el centro neurálgico de vuestra vida y sin un teléfono con conexión de datos no somos nada. Hasta los abuelos tienen 1 para ver las fotos de sus nietos u hablar con nosotros en este instante actual de confinamiento y prevención dada la ocasión de salud a nivel mundial.
Pero los celulares han tocado techo y parece que el margen de mejora es cada vez mas lento (hemos podido verlo en los últimos años y cómo los celulares de todas las marcas han tenido factores únicos y claves de mejora basados en procesador y capacidad fotográfica). Ahora entramos en alguna nueva década donde otras tecnologías otorgarán paso a la reinvención de vuestra interacción con la tecnología. Y alguna de ellas, alguna de las principales, será la realidad aumentada. De hecho, como curiosidad, vuestro compadre Pedro Aznar hace mas de diez años predijo este intercambio en un instante en que nadie le hizo caso, y no podía Estad mas acertado. Aquí tenéis su artículo.
Realidad Aumentada, concepto básico y evolución
Fue en la década de los 90 del pasado siglo, cuando vimos los principales intentos por parte de las fuerzas aéreas del ejercito de los Estados Unidos, de usar lo que hóy conocemos como realidad aumentada u mixta (más adelante veremos la diferencia conceptual).
Prototipo de Realidad Aumentada de las Fuerzas Aéreas en los años 90. En esencia, todo se basa en mezclar elementos virtuales (gráficos generados en período cierta por ordenador) con vuestra realidad para que parezcan 1 solo. Para adquirir esa fusión, se requiere de algún tipo de “visor” mixto que permita ver vuestra realidad fusionada con gráficos 3D.
A través del uso de hartas tecnologías como la vista computerizada que concede protagonizar la realidad y crear alguna “dimensión espejo” virtual, logramos la hechicería que une ambos mundos. Imaginen que yo miro a través de alguna lente u dispositivo que usa realidad aumentada y veo alguna mesa. El sistema detectará un plano horizontal y creará alguna geometría 3D sobre la misma que se adaptará en período real y que moverá al moverse esa lente u dispositivo en el espacio real.
Un plano detectado por ARKit De esta forma, creará alguna malla alrededor de la realidad, invisible, sobre la que acomodar elementos 3D que sí veremos. Elementos como alguna lámpara que emite luz u alguna taza de café. Cuando nos movamos, el sistema sabrá cómo lo hacemos y modificará en período cierta la posición y distancia de dicho jarrón virtual con respecto a vuestro visor. De esa forma, nos parecerá que el componente figura parte de la realidad: que realmente hay alguna lámpara ahí cuando está generado en período cierta y solo existe en el planeta virtual. Incluso la lámpara generará alguna luz que modificará la luz cierta del ambiente vista desde el dispositivo.
En los últimos años, games como Pokemon Go, lanzado en 2016, pusieron de manía esta tecnología y la trajeron de reciente a primera línea de actualidad. Y un año después, Apple nos sorprendió a todos cuando con iOS™ once lanzó la primera versión de ARKit, alguna nueva API creada desde cero y que permitía trabajar e incorporar entornos de realidad de alguna figura demasiado mas sencilla y sencillo que como había sido inclusive ese momento.
Aquella primera versión de ARKit era suficiente arcaica y solo permitía alguna chica parte de lo que finalmente concede hóy con la actual versión 4, plenamente incorporada con los sensores LiDAR de los recientes iPhone doce Pro y Pro Max, así como los iPad Pro de 2020.
¿Pero cómo funciona la Realidad Aumentada de Apple™ con ARKit?
ARKit, la librería de realidad aumentada de Apple, funciona de la siguiente forma: la cámara crea un flujo de vídeo en período cierta que vemos en vuestro dispositivo. Dicho flujo, pasa anteriormente de ser mostrado por un motor de vista computerizada que interpreta qué se ve en ese flujo de vídeo (el intérprete de escenas) y cada fotograma es enviado al motor 3D para que “pinte” cualquiera cosa sobre fundamentado en datos de posicionamiento del personal dispositivo. Una vez pintado, se presenta en vuestro dispositivo.
Si principio alguna experiencia de realidad aumentada, esta inicia con mi visor (el iPhone u el iPad) en la coordenada 0, 0, 0, cero de un espacio 3D. Tenemos el eje x horizontal, el y vertical y el z de profundidad y alguna cuarta coordenada t que representa la rotación sobre el eje central del personal dispositivo. El punto en el espacio 3D es x, y, z, y el punto de giro del dispositivo sería un componente a tener en cuenta para la perspectiva a aplicar sobre los elementos 3D. Básicamente aplicamos la transformación de las coordenadas 3D al giro del dispositivo contraponiendo el desplazamiento para aparentar la realidad.
Cuando muevo el dispositivo, el giroscopio y los acelerómetros del idéntico informan del desplazamiento que sufre y su rotación. Si lo roto sobre su personal eje me dará un desplazamiento angular en el eje t, si me muevo en vertical u horizontal, cambian los ejes x e y, si me muevo adelante u atrás muevo el eje z. Toda esa información es proporcionada 60 veces por segundo por el motor de ARKit que utiliza alguna operación de cálculo de transformación de coordenadas en un espacio 3D.
Funcionamiento de ARKit ¿Cuál es su propósito? Si yo pongo alguna lámpara en un punto concreto en el espacio 3D nada mas iniciar la experiencia en la mencionada coordenada 0, 0, 0, 0, eso supondrá que al empujar -10 en el eje horizontal x y tres en el eje z porque me acerco, el componente 3D deberá contestar en contraposición a ese desplazamiento para crear la sensación de incorporación entre elementos virtuales y elementos reales. Tendrá que empujar el componente diez sobre el eje x para contraponer mi desplazamiento y realizar un acercamiento del componente en tres puntos (-3 en el eje z). Eso transforma las coordenadas de todos los elementos visibles y no visibles en período real. Aunque solo dibuja los visibles por optimización del procedimiento (obviamente).
La fusión de ambos mundos, virtual y real, depende de los puntos de función u feature points. Puntos que el sistema es apto de posicionar en el planeta cierta desde el planeta virtual, a través de la citada interpretación de la escena y el uso de la vista computerizada.
Puntos de función u feature points Este es 1 de los campos que han mejorado exponencialmente con el uso del sensor LiDAR porque ahorita ya no poseemos necesidad de protagonizar lo que vemos en la escena de la cámara: el LiDAR nos da toda la información necesaria.
El sensor LiDAR creando la malla 3D de elementos reales Estos puntos son los que se mueven en el espacio 3D cuando movemos el dispositivo, son los que registran las diferencias por dicho desplazamiento y afectan a los elementos 3D anclados en ellos. En el caso del sensor LiDAR, el personal sensor monta la malla 3D necesaria y nos concede obtener alguna representación 3D demasiado mas cierta de todo el entorno. Representación sobre la que «colocar» elementos 3D cualesquiera de figura infinitamente mas realista y rápida.
ARKit, evolución entre versiones
La primera versión de ARKit era muy limitada pero todavía así fue toda alguna revolución por su facilidad y versatilidad a la hora de desarrollar. Lo primero que poseemos que comprender es que NO existen las app de realidad aumentada: son juegos. Con el propósito de tener un ambiente 3D virtual que poder combinar con la realidad que vemos en la cámara, lo que usamos no es alguna API de desarrollo de app como SwiftUI u UIKit, usamos librerías de desarrollo de videojuegos como SpriteKit, SceneKit u la mas reciente RealityKit.
La primera versión limitaba la vista de la cámara a resolución 720p para disminuir con ello la necesidad de procedimiento y detectaba solo planos horizontales. Si se descubren alguna gran medida de puntos de función en alguna repartición homogénea, estos nos informaban que hay un plano y por eficiencia, los puntos se sustituyen por planos 3D que se superponen de figura invisible a los elementos reales. De esa forma, dicho plano podrá servir de collider u componente de golpe para objetos: como la mesa donde coloco la lámpara. La lámpara está sostenida por el plano invisible que está dibujada sobre la mesa real.
En posteriores versiones Apple incorporó mas funciones como la detección de planos verticales u la detección de imágenes fijas para crear experiencias virtuales. Por ejemplo, detectar un póster de alguna movie en alguna parada de autobús y hacer que cobre vida poniendo sobre de esa geometría un vídeo u alguna animación superpuesta.
También se incorporó la expectativa de grabar experiencias en un instante determinado (escenas ya montadas) y poder re-construirlas en sesiones posteriores. Eso permitió realizar experiencias compartidas en que hartas personas desde diferentes aparatos vean la misma escena y puedan interactuar con ella al unísono. Esta funcionalidad, unida a la creación de redes de pares por Bluetooth u WiFi de figura interna, concede que diversos aparatos iOS™ se conecten 1 con otro y compartan estas experiencias todavía sin disponer de conexión a internet.
El siguiente paso, que también supuso alguna ruptura de compatibilidad al solicitar un chip A12 Bionic como mínimo, fue la ofuscación de personas. Algo tan sencillo (y tan complicado técnicamente) como detectar a alguna persona (o partes de la misma, como alguna mano) y que cualquiera objeto 3D situado tras la persona se vea “tapada” por la realidad.
Ofuscación de personas con ARKit. La persona del fondo está adelante de la pelota que es 100% virtual. Hasta ese momento, si yo ponía la mano adelante de la cámara, la lámpara virtual se ponía sobre de mi mano porque no se detectaba la profundidad a ese nivel. Ahora, si yo pongo la mano y abro los dedos, el jarrón se verá entre mis dedos y el sistema sabrá donde sí tiene u no que pintar este. Esta interpretación de personas incorporó poco luego la capacidad de captura de desplazamiento de personas, también ejecutada por la librería ARKit.
Captura de desplazamiento de personas con ARKit Esta nueva alternativa que comenzó con la captura facial a través de los sensores de Face ID, permitía reproducir cualquiera desplazamiento facial en mas de 50 zonas de captura en elementos virtuales (como los célebres Animojis), pero ahora todas estas capturas pueden ser formadas con vista computerizada desde la cámara trasera de un iPhone u un iPad. Algo que nos concede usar un dispositivo teléfono de Apple™ para técnicas que ayudan al desarrollo de videojuegos u cine, con un coste muy inferior y alguna calidad suficiente buena… y sobre todo: demasiado mas sencillo que la figura convencional.
También tuvimos la incorporación de alguna librería que se sumaba a SceneKit, SpriteKit y Metal para crear experiencias de realidad aumentada: RealityKit. Una API 100% nativa en Swift, cuya aspiración es hacer mas sencillo el boceto de las escenas que crean las citadas experiencias. Una librería 3D basada en SceneKit que viene de la mano de alguna app como complemento: Reality Composer. ¿Con qué propósito? Pues nada mas simple, complicado y útil, como tener un editor de escenas 3D donde crear experiencias de realidad aumentada sin tener que programarlas paso a paso y componente a elemento. Una app libre para macOS y iPad.
Reality Composer Con Reality Composer podemos importar elementos 3D, ubicarlos en un espacio tridimensional, darles animación, eventos que reaccionen a toques (por ejemplo), sonidos… un comportamiento que nos concede crear escenas como si estuviéramos en Unity u Unreal Engine, pero de alguna figura mas simple. Eso nos produce alguna escena que luego cargamos utilizando la librería RealityKit, y con ella podemos realizar app u games de figura muy sencilla con muy poco código.
Las últimas incorporaciones han sido la ofuscación de personas que llega a un reciente nivel con la llegada del LiDAR ya que ahora concede la ofuscación completa de elementos y la total incorporación entre elementos 3D y la realidad. Además los anclajes de geolocalización, donde podemos situar experiencias de realidad aumentada unidas a ubicaciones geográficas reales. Sobre alguna latitud, longitud y altitud, podemos ubicar experiencias sobre elementos 3D que pueden detectarse, como un monumento, un edificio u cualquiera otro elemento. Algo suficiente impresionante.
Experiencias geolocalizadas con ARKit 4 Lo que Apple™ ha logrado con la librería ARKit es, básicamente, crear alguna de las APIs mas completas, complejas (a la vez que sencillos para desarrollar) y mejor preparadas para un futuro en realidad aumentada. Hoy día podríamos decir que ARKit ya tiene todo lo necesario para fabricar ese reciente futuro que hoy, sujetando un iPhone u un iPad en la mano, no somos capaces de ver.
Pero la realidad es que las bases están puestas y cuando Apple™ lance su primera aproximación a las lentes de realidad aumentada, el software(programa) estará listo y los desarrolladores ya habremos experimentado con estas librerías (quien mas u quien menos) por lo que no nos sonará a algo extraño. El siguiente paso será cuando SwiftUI gane un render apto de fabricar UIs adentro de un ambiente de realidad aumentada y no necesitemos saber programación 3D para abusar las nuevas prestaciones de interacción que se nos abren a nuestros ojos.
Preparados para la nueva década
Sin duda, las capacidades que Apple™ nos propone con la realidad aumentada son espectaculares, pero siguen teniendo un problema de base: hay que trasladar el dispositivo en la mano y observar a través de él. Eso dificulta las experiencias y es lo que ha provocativo que todo este desarrollo tecnologico haya quedado relegado a lo que se conoce comúnmente como “efecto demo”. Lo enseñas, es genial, pero luego no lo usas. Solo sirve para demostrar lo que podemos hacer.
Pero pronto veremos alguna nueva generación de dispositivos que lo cambiarán todo. Y Apple™ no es la única que está laburando en ella. En mayor u menor medida todas las grandes como Amazon, Google, Facebook, Microsoft™ u IBM™ están laburando u tienen ya algo desarrollado.
¿En qué se basará la apuesta de Apple? Aquí es donde vamos a ver que esta revolución lo será en 2 pasos que implicará en un primer instante a la realidad aumentada y luego a la realidad mixta. ¿Por qué esta distinción? Básicamente porque debemos separar el nivel de “calidad” de aquello que vemos. Es cierto que combinar realidad con elementos generados digitalmente se sigue conociendo a nivel habitual como realidad aumentada pero entonces es cuando debemos iniciar a hablar de diferencias técnicas y de coste tecnológico, de procedimiento e inclusive energético.
El primer paso de Apple, lo que veremos este año, es la realidad aumentada básica: la proyección de interfaces sencillos de cliente sobre la realidad convencional, con el objeto de tocarlas u interactuar con ellas. Eso serían las rumoreadas Apple™ Glass en su primera versión al público. Apple™ las presentará este año, y dará unos meses a los desarrolladores para planificar su software u crear reciente para explotarlas anteriormente de su lanzamiento al público.
Si hacemos caso a los rumores, las Apple™ Glass no tendrían cámara y sí un sensor LiDAR. En mis propias averiguaciones explorando ARKit en su última versión, he podido venir a la conclusión que Apple pondrá este LiDAR para reconocer vuestras palmas en período cierta y permitirnos tocar interfaces sobre la realidad con absoluta precisión. De esta forma, las nuevas Apple™ Glass serían algo parecido a un Apple™ Watch, como complemento de las apps, pero sin Estad limitado a un espacio tan pequeño como el reloj de Apple. Tendríamos “ventanas” suspendidas en el aire adelante vuestra para tocarlas e interactuar con ellas como lo haría Tom Cruise en “Minority Report”. Pero no tendríamos gráficos 3D de alta calidad integrados en la realidad, solo esas ventanas u interfaces.
En las primeras versiones, el terreno de vista estaría estrecho a chicas zonas de vuestra visión, pero en posteriores podríamos ir ampliando estas. Incluso en versiones avanzadas podría permitirnos tener un teclado, monitor y trackpad en cualquiera superficie sin necesidad de tenerlo físicamente. Al ser UIs simples, esto puede permitir que gran parte del procedimiento se haga en vuestro dispositivo, y dar alguna buena autonomía y rendimiento en un dispositivo que fuera asequible (dentro de lo que es Apple) para un uso convencional. Y que Apple™ vaya escalando poco a poco tecnológicamente esta tecnología como lo hizo con los iPhone.
Con estas Apple™ Glass podríamos obtener información en todo instante sobre el lugar donde estamos, a dónde miramos a través del reconocimiento de elementos 3D, hablar en videollamada de figura directa, guiarnos por museos u centros comerciales, por la calle, durante conducimos… en primera instancia sería un planeta de paneles 2D frente a nuestros ojos para interactuar con ellos u que nos muestren información enriquecida del planeta que nos rodea.
Las Magic Leap One, el producto mas maduro y semejante a lo que Apple™ sacaría sobre la mitad de la nueva década. Solo luego de diversos años para tener un producto maduro, llegaría alguna nueva generación u inclusive categoría de producto: las lentes de realidad mixta. Aquí sí estamos hablando de aparatos mas complejos. Mientras las Apple™ Glass serían alguna gafas convencionales (que podrían graduarse) y que tendrían un proyector que proyectaría directamente en vuestra retina las interfaces integradas en el planeta real, alguna lente de realidad mixta es demasiado mas compleja y requeriría de un casco u algo mas grande. Algo que tuviera cámaras también del LiDAR, con la capacidad de generar elementos 3D complejos integrados en el ambiente como ya hacemos con el móvil, pero que nos permita verlo como vemos la realidad ahorita mismo.
Cercanos a la segunda mitad de la década (2024 en adelante) asistirían estas lentes de realidad mixta. Lentes u cascos algo mas voluminosos que podrían combinar realidad con elementos 3D y donde podríamos tener mundos completos adelante de nuestros ojos con los que poder interactuar. Algo semejante a unas Magic Leap One u alguna Hololens 2, pero con el toque Apple™ en un producto mas ligero, «vestible» (es considerable que sea algo que se pueda trasladar a la calle) y al alcance de un público mas amplio, creando un fase comercial muy atrayente para el producto.
Tener un Minecraft™ montado en el salón de vivienda como si fuera un Lego enorme que no hay que guardar. O videojuegos que lleven la jugabilidad a un reciente nivel (¿Among Us en vuestra vivienda con nuestros compañeros cada 1 en su casa?), tener todo tipo de experiencias como un vendedor virtual que nos asesore en vivienda en la distancia, ver cualquiera producto en contexto a cómo quedaría sin tener que ir a la negocio (algo que ya podemos hacer con el teléfono de alguna figura demasiado menos practica y realista) y tener mundos completos adelante vuestra que llevarían demasiado mas allí las experiencia de educación, de interacción, lúdicas… la puerta abierta a un reciente planeta unido al nuestro.
Bienvenidos a la nueva década de los veinte del siglo XXI. Una época excitante tecnológicamente que nos deparará muchas y muy atrayentes nuevas formas de interactuar con el planeta que nos rodea.
–
La noticia Por qué la realidad aumentada es la tecnología de la próxima década y el papel que jugará Apple™ fue notificada originalmente en Applesfera por Julio César Fernández .
el inventor es el AUTOR ORIGINAL de su link de arriba, auspiciamos al desarrollador original de la noticia sin perjudicar su reputación ni posicionamiento web.