HoloLens ko-envanteur Avi Bar-Zeev pataje: wout la pou tout tan AR linèt

Wout pou tout tan XR linèt

Pou plis pase 30 ane, mwen te travay sou XR, metaverse a, ak enfòmatik espasyal, ki gen ladan ede oswa konseye sou 10 diferan pwojè kask XR. Mwen te gen gwo fòtin pou kontribiye nan yon seri pwojè byen bonè, sitou nan pwouve oswa refize kondisyon ak defini eksperyans itilizatè kle yo anvan ekip yo depanse $ 1 milya dola bati yo. Sou wout la, mwen te aprann leson sou sa ki mache ak sa ki pa. Pafwa, repons ki kòrèk la se "poko gen matirite."

Mwen p ap divilge okenn enfòmasyon ke ansyen anplwayè mwen an toujou konsidere kòm pwopriyetè. Mwen pral bay lyen ki mennen nan patant pibliye ki ka ba nou kèk insight. Sa a se objektif aktyèl la nan patant, kwè li oswa ou pa. Natirèlman, mwen ta evite patant ke mwen panse ta envite espekilasyon.

Li enpòtan pou fè atansyon pou pa pran anyen mwen di oswa ekri kòm prèv plan pwodwi nenpòt konpayi an, oswa menm nenpòt kritik nan efò nenpòt moun. Sa a pa te entansyon mwen ditou.

Pou background, premye eksperyans reyèl XR mwen te bati se te yon CAVE. Nan moman sa a mwen te prete yon $250,000 òdinatè ak yon gwo pwojektè, epi mwen te envesti yon lòt $30,000 nan matyè premyè. Kask VR $100,000 Disney, ki te fèt nan ane 90 yo, pa janm rive nan mache komèsyal la. Li mande pou câbles pandye nan plafon pou pote pwa a, men dè santèn de milye te eseye li.

Rive janvye 2010, mwen espere nou pral pare pou kòmanse devlope linèt XR pou konsomatè ki pare pou itilize. Li lè pou fè yon gwo Splash nan jaden sa a k ap deplase dousman. Anplis de sa, Google Glass ak Magic Leap parèt nan menm tan an. Erezman, youn nan travay nou te resevwa nan ekip enkubasyon Microsoft a se te jwenn nouvo lide pou pwochen jenerasyon XBox la.

"Fè agresif, menm fè nou di 'sa a se fou'," yon egzekitif Xbox te di nan moman sa a.

Mwen sètènman gen lide "radikal". Ti ekip nou an byento te kòmanse travay sou yon nouvo konsèp pwodwi "Screen Zero": ranplase tout ekran yo ak yon sèl ekran. Mwen te responsab eksplorasyon teknik epi mwen te ede defini eksperyans nan premye ane fòmasyon an. Rezon ki fè mwen kite yo pa vo espas ki nan atik sa a. Men, apre plis pase mil moun, HoloLens te lanse nan 2016.

Sa a se ekipman inogirasyon. Men, li toujou pa yon konsomatè tout-tan mete yo. Okenn nan Magic Leap 2, Snap Spectacles, Varjo oswa Quest jodi a.

Se konsa, ki sa egzakteman li pran pou reyalize linèt AR ki ka mete tout jounen an?

1. Maximalism ak Minimalism

Apwòch maksimòm, tankou yon sèl HoloLens te pran evantyèlman, refere a konsolidasyon nan detèktè anpil, algoritm, ak pouvwa nan yon sistèm wo-fen. Yon fwa nou gen eksperyans nan jeni ak itilizatè rezoud, nou ka teyorikman etwat li desann. Men, sa pran plis tan, epi li ka pran jiska yon deseni pou sèten elektwonik optimize pouvwa pou kont li.

Cambria a ak aparèy menm jan an menm jan an maksimize, tèlman yo simule AR ak yon ekspozisyon opak VR jeyan ak plizyè kamera, ak kontwòl presi pixel-pa-pixel sou melanj reyalite ak simulation. Maximalism se pi bon pou aplikasyon-wo fen ak R&D debaz. Gen kèk diskite ke menm si aplikasyon yo gen plis endistriyèl, yo se zouti yo sèlman ki travay nan moman sa a.

Sepandan, menm aparèy ki pi chè sou mache a jodi a pa ka mete tout jounen an, epi yo pa ka itilize pou entèraksyon sosyal òdinè oswa menm mache san danje nan lari yo. Karakteristik maksimòm tankou olografik oswa ekspozisyon jaden limyè yo poko gen matirite.

Nan lòt men an, aparèy ki gen yon apwòch minimalist gen ladan Amazon Echo Frames, Snap Spectacles, ak Ray-Ban Stories, pou nonmen kèk. Yo sèlman pake teknoloji ki adapte nan kontrent aktyèl yo nan faktè fòm linèt yo mete yo, souvan ditching ekspozisyon tout ansanm.

Toujou, ka linèt san yon ekspozisyon konte kòm XR?

Si li amelyore pèspektiv sitiyasyon yon moun, mwen ta di wi. Yon podcast oswa yon melanj mizik se pa XR paske li toujou pa santi ou oswa anviwònman ou ye kounye a. Aplikasyon GPS navigasyon yo se yon ti jan matche ak, men se pa ase. Ajoute odyo espasyal ak kamera pou AI ak pozisyon identifier definitivman konte kòm XR, menm san yo pa yon ekspozisyon.

Apwòch minimalist ka vann plis pwodwi nan kout tèm, epi yo anjeneral konsantre sou yon aspè espesifik epi fè li yon solisyon pi bon nan klas la. Si ou ka fè li byen, tankou Walkman a ak iPhone a, ou ka vann pou dè milya de dola. Men, pa panse minimalist se fasil, paske nan plizyè fason, li difisil fè byen.

2. Pi bon metòd

Mwen te espere ke ekran zewo XBox a te yon ibrid ant linèt minimalist ak yon konsole maximalist. Linèt AR yo ta dwe menm jan an gwosè ak linèt Oakley oswa pi piti. Pwochen animatè a pral fè pi fò nan leve lou pou jiska kat pè linèt nan menm chanm lan.

3. Ergonomi, konsomasyon enèji ak chalè

Poukisa separe? Li vini desann nan konsomasyon enèji, oswa plis presizyon: chalè.

Tout travay yon òdinatè fini nan fòm chalè, ak lòt moun ka gen ladan foton ak / oswa kondui mekanik, tankou son. Konbyen chalè? Yon pè linèt AR ki lejè ka jenere apeprè yon watt enèji.

Yon smartphone tipik ka jenere apeprè 10 watt ak Lè sa a, chofe. Yon animatè oswa yon òdinatè ka konsome 10-100 fwa plis enèji pase yon smartphone, epi kidonk 100-1000 fwa plis enèji pase linèt. Panse ti flach dirije ak sechwa rad jeyan. Sa a se yon gwo diferans nan konsomasyon enèji.

Pou balanse konsomasyon enèji, nou bezwen solisyon ki sanble ak sa m ap travay sou yo depi 2010, tankou fizyon done, rann fann, kouran rann optimize. Pou pi ba bandwidths, rannman deformation tan ki baze sou je-swiv travay byen epi kouvri reta kominikasyon.

CPU a, kamera, ekspozisyon, ak RAM konsome anpil enèji ak jenere anpil chalè. Se konsa, sekrè a se sèvi ak yo ti kras nan pifò ka yo. Panse kenkayri koutim ki ba-pouvwa: nouvo detèktè kontèks, ekspozisyon ultra-pouvwa, ak algoritm ki malen "reveye."

Sa a pral pran tan pou rezoud. Pou egzanp, si sourit optik ou ak kontwolè lame ou a pa nan sibstiti, pil yo ap vide, kidonk yo kòmanse ak yon solisyon atache. Jodi a, yon sourit optik ka dire plizyè mwa sou yon ti batri.

4. Deyò salon an

Pou sipòte yon gran varyete ka itilize, sistèm AR optik transparan bezwen depreferans bloke limyè ki soti nan anviwònman klere (menm fenèt oswa ekleraj chanm k ap viv), pi byen pèsonalize ak melanje odyo espasyal ak reyalite, ajiste konsantre optik, kaptire ak repwodui ologram Virtual lòt moun. e plis.

Menm si aparèy la divize an inite prensipal la ak headset a, toujou gen twòp "bagay" nan tèt nou. Yon gwo defi ergonomic se debarase m de espageti jeyan ke pifò aparèy XR toujou itilize ki fè kask yo sanble ak pinèz ki anbrase figi yo.

Nenpòt kalite espageti ki mande pou tansyon ap limite divèsite nan baz itilizatè a (konsidere varyasyon gwosè tèt ak sansiblite nan dezòd cheve), epi li pral diminye chans pou mete linèt. Sa vle di ke ekipman pou tout tan yo dwe super limyè epi jeneralman anfòm menm jan ak linèt regilye.

Lè w rive nan gwosè linèt Oakley oswa pi piti souvan vle di deplase plis nan sistèm nan nan yon clip oswa aleka. Magic Leap ofri tankou yon clip. Mwen te remake aparèy XR lè l sèvi avèk yon konfigirasyon neckband, ki vle di pandye konpozan informatique yo nan kou konsomatè a. Avèk konsepsyon fann sa a, travay la plis separe fèt, pi lejè asanble je / tèt la ka.

An 2010, mwen te pèsonèlman plis enterese nan biceps yo paske li te yon pwen jete lank ak yon liy kout si sa nesesè. Sa a kenbe pi lou ak pi cho konpozan lwen tèt la ak kou epi li gen yon anpil nan zòn sifas yo gaye chalè. Biosensors ki sitiye sou bra a kapab tou detekte jès, menm jan ak fason Meta a itilize aparèy Control plus Labs la pou li jès nan ponyèt la. Nan fason sa a, konsèpteur pwodwi ka toujou di "pa gen okenn câbles".

5. Konsantre

Paske yon gwo kantite granmoun bezwen korije vizyon tou pre ak byen lwen, yon faktè fòm portable tout jounen an souvan bezwen agrandi ak konsantre mond reyèl la pou nou. Nan yon minimòm, sa vle di ke lantiy yo bezwen sipòte optik paramèt vizyon koutim. Yon konpayi waveguide ke Snap te akeri pi bonè te anonse plan yo entegre optik ki gen rapò yo nan lantiy vizyon fonksyonèl, men sa a te difisil.

Men, se yon paramèt vizyon ase? Anpil granmoun sèlman bezwen linèt pou lekti oswa kondui (farsightedness), ki vle di yo bezwen linèt pou kapab chanje nan diferan eta. Se konsa, nou bezwen de oswa twa pè linèt chè? Oswa bifokal, trifokal, ki pliye limyè kòmsadwa depann sou kote ou gade? (Pratik, men pa ideyal)

Yon solisyon mwen ap pouse se ajisteman optik dinamik, ki pèmèt menm pè linèt sipòte lekti oswa kondwi, e menm agrandi byen enprime ak siy byen lwen. Sa a tou pèmèt plis zanmi eseye li fasil. Imajine si XBox ou a sèlman sipòte jwèt yon sèl-jwè epi ou gen de oswa twa zanmi nan chanm nan? Kalite yon degoutans.

Aktyèl pi bon metòd konsantre dinamik yo enkli Alvarez (glise mekanik) ak lantiy reglabl ki ranpli ak likid. Solisyon mekanik yo gen tandans diminye fyab. Gen yon kantite lajan ki jis nan R&D ale nan anpile LCD espesyal ak chanje konsantre elektwonikman. Mega akeri yon konpayi yo pran sou travay la.

Lè sa a, gen pwoblèm nan konsantre imaj la vityèl ki baze sou liy aktyèl la nan je. Avegant ak Magic Leap te montre nou kijan pou n chanje byen vit ant de distans fokal, similye yon senp ekspozisyon jaden limyè, ki enpòtan pou navige "objè vityèl" nan distans fokal apwopriye a nan anvè zèl la. Mwen te gade nan plizyè fason yo kontinyèlman eskane longè fokal la anvan, men monitè komèsyal yo pa rapid ase nan pratik.

Swiv je ou ka ede pwosesis, diminye chaj enfòmatik, epi bay itilizatè plis natirèl. Mwen trè abitye ak pwoblèm nan je-swiv ak alèt moun k ap pran desizyon sou risk yo byen bonè.

Finalman, sou bò biznis, Luxottica fè yon anpil lajan nan vann bon mache, gwo pwi. Li domine mache a jodi a, ak pifò mak linèt ou konnen. Konpayi linèt XR yo gen pou travay avèk yo oswa kont yo, ni youn nan yo se chwa fasil. Meta te chwazi travay avèk yo pou devlope linèt Ray-Ban yo. Konpetitè konpayi an gen ladan Warby Parke ak lòt ti jwè yo. Ou pa ka vann bon nouvo pwodwi san bon chanèl distribisyon ak patnè.

6. Kontras

Magic Leap 2 ofri yon fason pou oaza flou mond natirèl la. Mwen te travay sou pwoblèm sa a depi 2010, men pa gen okenn solisyon pafè. Yon seri de enjenyè optik pa t 'konsidere li nesesè. Rezon ki fè yo se jan sa a:

Li jeneralman konprann poukisa ekspozisyon "aditif" transparan pa ka rann "nwa". RGB{{0}},0,0 pou nwa, ki aktyèlman pa ajoute anyen epi ki pa vizib nan limyè ki egziste a. Sepandan, nou ka fasilman twonpe w pou w wè nwa ak lonbraj lè w apwoche zòn ki pi klere.

Pwoblèm nan vrèman difisil rive lè ou pran linèt XR ou deyò epi gade nan yon miray limen pa limyè solèy la klere, pwobableman tou pre yon zòn fè nwa oswa lonbraj. Sèten zòn yo ka 1000 a 10000 fwa pi klere pase lòt. Kontras la tèlman pwononse andedan kay la ke vizyèl AR sanble kareman pè. Enjenyè optik souvan diskite ke simonte sa a, ou bezwen pwodiksyon plis limyè. Optik yo anjeneral se sèlman 1 pousan -10 pousan efikas, ki vle di pifò limyè a pa menm antre nan je ou epi jis ajoute plis chalè. Sonje byen, ou pa ka jis konsepsyon yon sistèm alantou optik paske chalè se youn nan pi gwo faktè limite.

Reyalite a se ke nenpòt pè nan linèt transparan AR oswa videyo wè-a bezwen pran sèn reyèl la an kont lè yo fè amelyorasyon vizyèl. Nan ka transparans, linèt souvan bezwen soustraksyon nan ekleraj reyèl pou jwenn koulè final la vle. Nan ka pèspektiv videyo, ekspozisyon an ka ranplase pixel la tout antye, men nenpòt transparans nan sèn nan 3D vityèl toujou bezwen melanje ak koulè background li nan kamera a. Se konsa, sa w ap fondamantalman gade nan se yon kamera ki gen gwo enèji ak sikwi ki se swa transparan oswa opak. Sa a se yon gwo kontrent konsepsyon paske li ajoute enèji ak pwa pandan y ap bloke je yo.

Sou sifas la, lonbraj selektif ak linèt klè se mwens chè pase ajoute pouvwa nan ekspozisyon an oswa ajoute yon kamera. An 2010, mwen te mete yon senp LCD monokrom devan ond la. Li travay jan yo espere, rann objè solid 3D ak deskripsyon nwa mou. Men, li gen dezavantaj, ki gen ladan bezwen pou kalibrasyon dinamik, LCD a defòme limyè reyèl (sitou refraksyon nan fil kontwòl yo). Li gen yon seri dinamik pòv poukont li. Deyò, pafwa ou bezwen tou pre 100 pousan opasite. Andedan kay la, espesyalman nan sitiyasyon sosyal ak teleprezans, ou vle gen plis transparan yo wè moun dirèkteman nan je yo.

Objeksyon prensipal la nan apwòch sa a se ke LCD oswa lòt modulateur limyè espasyal yo souvan soti nan konsantre, yon pous nan je a. Men, distòsyon an se konsa ke ak bon plis ak mwens ekspozisyon AR transparan ak kèk detèktè rapid, ki ba-pouvwa, linèt solèy ou yo ka bloke limyè solèy la, ekla oswa limyè devan san yo pa diminye vizyon ou yon lòt kote. Ou ka subtilman fè nwa mond lan epi fè liv rekòmande gade briyan. Avèk plis avanse soustraksyon (filtraj), linèt yo ka menm chanje koulè mond lan, amelyore vizyon lannwit, e menm bay fidbak byometrik lè w santi w M'enerve oswa distrè.

Mwen te fè divès kalite Demo epi mwen te pase yon bon bout tan kap chèche yon pi bon fason. Men, yo tout gen sèten dezavantaj. Sepandan, aplikasyon Magic Leap 2 ban mwen espwa ke pwoblèm debaz yo pral rezoud.

7. Rezo

Radyo tou mande enèji, kidonk toujou gen yon konpwomi nan yon sistèm fann. Lavni ki pi pwomèt la se nan itilizasyon frekans radyo ki pi wo yo pou reyalize pi ba pouvwa ak pi wo Pleasant pase jodi a. Men, defi prensipal la se ke frekans sa a pa ka pase nan po oswa mi (pou pi bon oswa pi mal). Se konsa, solisyon an dwe trè entelijan, kòm vag radyo rebondisman ak travès alantou chanm ak moun, kidonk plis transmetè ka bezwen itilize pase gen jodi a. Li evidan, sa a ajoute pri ak konpleksite.

Pou tout lajounen wearables, li mande tou rezo a disponib anvan vann pwodwi ki konte sou li. Limitasyon sa a se pi gwo rezon ki fè biznis pa janm lage solisyon rann fann mwen defann. 5G se pi pre sa nou bezwen, men omwen nan peyi Etazini an, sa sitou rezoud pwoblèm nan pi ba latansi ak plis moun ki sèvi ak rezo a an menm tan. Nou bezwen plis pase 5G, men li se yon bon kòmansman.

Pou debarase li de "lame" orijinal la (oswa menm jan an) nan sal la, pandan w ap kenbe yon faktè fòm ti ak ki lejè, nou bezwen yon fason pou "kwen" informatique, konbine nan yon fason ki pa anvayi vi prive nou an. Voye done Capteur byometrik yo nan nenpòt solisyon kwen oswa nwaj trè konsyan pou nenpòt moun paske li ka fasilman abize.

8. Kamera

Mete kamera a nan linèt yo se yon sèl difisil. Google Glass te fè anpil erè nan akseptasyon sosyal e li te vin anba atak toupatou. Men, Snap sanble gen kèk pwoblèm nan sans sa a. An menm tan, Facebook ap travay sou kaptire detay yo nan lavi tout moun, prezimableman nan lòd yo delivre plis anons pèsonalize, si nou renmen li oswa ou pa.

Sèten kamera yo entansif enèji, tankou numérisation sèn 3D, ak oklizyon dijital moun oswa objè yo. Pou byen plase grafik 3D, ou bezwen kontinyèlman swiv tèt la nan espas, ak kamera yo toujou solisyon an dirijan. Lè nou ogmante detèktè IMU, nou ap ogmante konsomasyon enèji.

Pran foto oswa videyo se yon ka itilize jistis popilè, espesyalman si li pi natirèl ak pratik pase lòt aparèy. Sepandan, akòz gwosè ak kontrent pouvwa, bon jan kalite a nan foto yo pral pi ba pase sa yo ki nan yon smartphone tipik. Bay yon ti limyè blan nan ankadreman an se pa ase yo rezoud pwoblèm nan konplèks nan apwobasyon sosyal.

Konpreyansyon sèn se pi fasil imajine kòm yon karakteristik pi gwo nan linèt kamera, an pati paske li pa oblije pran foto nan lòt moun, men pi enpòtan li louvri ka a ki pi enpòtan nouvo itilize pou mete linèt tout jounen an: konpreyansyon sitiyasyon.

9. Eksperyans

Nan 2010, R&D mwen pi espere devlope se AR linèt ki sipòte pwisan je-swiv ak kò-swiv kapasite, ak eksplore yon koòdone itilizatè plis natirèl espasyal òdinatè pi lwen pase tradisyonèl "rektang nan yon rektang" nan PC yo ak sourit. Pandan ke pyès ki nan konpitè sètènman gen limit li yo, adopsyon toupatou nan XR mande pou yon moun adrese kesyon an eksperyans nan "ki jan" kominike nan lavni an? "3D bwat nan yon bwat" se klèman pa. Donk nou toujou gen anpil travay pou nou fè.

Pandan ke Meta ap konsantre efò VR yo sou pase sa yo rele "Tès Vizyèl Turing," linèt XR ki ka mete pandan jounen an bezwen pi itil pase lòt moun. Anpil moun imajine kouch AR oswa chanèl ki anpème reyalite nou an, make tout sa nou wè, ajoute enfòmasyon, rakonte istwa espasyal nan 3D, ak redesine mond lan. Pandan ke sa a gen anpil chans yo dwe sou demann, sa a se pa eksperyans nan jou-a-jou mwen ta atann.

Pifò nan tan an, moun vle amelyore sa yo fè souvan: kominike, navige, dekouvri mond lan bò kote nou, konprann e menm chanje yon kote, achte, fè eksperyans kontni, epi fè lajan nan travay. Pou gen siksè, linèt XR bezwen fè pi bon pase nou fè ak smartphones oswa lòt aparèy.

Men sa yon smartphone pa ka fè. Imajine yon pè linèt nòmal ki ajiste dinamik konsantre epi bloke limyè oaza. Yo ka pale avèk ou aktif ak an prive, san ou pa bezwen tape tèks oswa mande vèbalman. Sa sèlman ta yon pwodwi milya dola. Linèt sa yo ka ede w sonje bagay oswa bay rekòmandasyon ou fè konfyans kòm yon pati nan eksperyans ou chak jou (vs. pouse anons).

Rechèch ki pi enpòtan mwen te fè nan domèn sa a se kominikasyon asynchrone lè l sèvi avèk linèt XR ki pa vizyèl. Kapasite vwa ak tèks smartphone yo ase jodi a, men èske yo konnen lè w ap lite pou konsantre? Èske yo ka ede w chanje kontèks nan bon moman pou kontinye travay oswa jwe? Men ki jan ki kote linèt yo ka klere (si nou ka fè konfyans nan manifakti a).

Tout sa mwen te dekri yo trè difisil, ak teknoloji ki enpòtan an prèske pa egziste. Li poko sou yon track minimalist, men sa se paske nou pa te priyorite li sou miniaturization nan optik ak maksimize nan jaden an de vi. Men, si ou poze kesyon an: Ki kalite linèt XR ka reyisi kote lòt moun pa fè sa? Mwen toujou panse ke tout sa mwen te ekri pi wo a pral ede w bati yon gwo pwodwi.