Quest Pro’nun yüz izleme yetenekleri, Meta’nın avatarlarını daha anlamlı hale getirmek için hızla kullanılacak, ancak yeni nesil avatarlar yeni teknolojiden çok daha fazla yararlanacak.
Quest Pro’nun büyük yeni özelliklerinden biri, gözlerinizin ve yüzünüzün bazı bölümlerinin hareketini algılamak için dahili kameraları kullanan bir yüz izleme sistemidir. Kalibrasyon gerektirmeyen makine öğrenimi modeliyle birleştirilen kulaklık, gördüklerini alır ve herhangi bir avatarın animasyonunu yönlendirebilecek girdilere dönüştürür.
Yakın vadede bu, Meta’nın mevcut avatarları ile kullanılacaktır. Ve kesinlikle onları daha anlamlı kılsa da, yine de biraz şapşal görünüyorlar.
Bu muhtemelen mevcut Meta avatar sisteminin bu düzeyde yüz izleme göz önünde bulundurularak inşa edilmemesinin bir sonucudur. Modelin altında yatan animasyon çerçevesi olan ‘arma’, göreve pek uygun görünmüyor. Quest Pro’nun yüz izleme girdilerini mevcut sisteme aşılamak, gerçekte yapabileceklerinin hakkını gerçekten vermiyor.
Neyse ki Meta, bir avatar Quest Pro’nun yüz izleme özelliği düşünülerek tasarlandığında (ve kulaklığın işlem gücünün neredeyse tamamının onu oluşturmaya adandığında) nelerin mümkün olduğunu gösteren bir teknoloji demosu oluşturdu.
Evet, hala biraz sallantılı ama burada gördüğünüz her hareket, yanakları şişirmek veya ağzı bir taraftan diğerine hareket ettirmek gibi şeyler de dahil olmak üzere aynı hareketleri yapan kullanıcı tarafından yapılıyor. Genel olarak, tekinsiz vadiye girmekten kaçınmayı başardığını iddia edeceğim bir yüzün çok daha eksiksiz bir temsili.
Bu demoyu , aynaya baktığımda bu karakter olarak göründüğüm (Meta’nın Aura dediği) Quest Pro ile yaptığım son uygulamalı denememde kendim denemeliyim . Özel bir kalibrasyon olmasa bile aynada gördüğüm yüzün, yüzümle yapmayı düşünebildiğim her türlü hareketi taklit etmesinden gerçekten etkilenmiştim.
Özellikle ciltteki detaylara çekildim. Gözlerimi kısarak burnumu yukarı kaldırırsam, etrafındaki derinin gerçekçi bir şekilde toparlandığını ve kaşımı kaldırdığımda da aynı şeyi görebiliyordum. Ağızla birlikte hareket eden yanaklardaki kıvrım gibi bu ince ayrıntılar, bunun sadece önümde duran bir nesne değil, arkasında canlı bir varlık olan bir şey olduğu izlenimine gerçekten çok şey katıyor.
Maskenin arkasındaki ben olduğumda ifadelerin aslında bana benzeyip benzemediği başka bir soru. Bu avatarın yüzü benimkiyle uyuşmadığı için bir şey söylemek gerçekten zor. Ancak hareketlerin en azından gerçekçi olması , doğal ve inandırıcı hissettiren sanal avatarlara doğru ilk önemli adımdır.
Meta, geliştiricilerin yüz izleme girişlerini avatara nasıl eklediklerini görebilmeleri için Aura demosunu açık kaynaklı bir proje olarak yayınlayacağını söylüyor. Şirket ayrıca, geliştiricilerin her avatarı ayrı ayrı değiştirmeye gerek kalmadan insansı avatarları veya hayvanlar veya canavarlar gibi insan olmayan avatarları sürmek için tek bir araç seti kullanabileceklerini söylüyor.
Meta, geliştiricilerin, insan yüzündeki farklı kasların hareketini tanımlamak için iyi bilinen bir sistem olan FACS’ye karşılık gelen değerleri kullanan bir yüz izleme API’sine dokunabileceklerini söylüyor.
Bu sadece yüzleri temsil etmek için etkili bir sistem değil, aynı zamanda kullanıcılar için yararlı bir gizlilik bariyeri oluşturuyor. Meta’ya göre, geliştiriciler aslında kullanıcının yüzünün ham görüntülerine erişemezler. Bunun yerine, “burnunuzu buruşturduğunuzda veya kaşlarınızı çattığınızda olduğu gibi, bir dizi genel yüz hareketine karşılık gelen sıfır-bir değerler dizisi” elde ettiklerini söylüyor Meta. “Bu sinyaller, bir geliştiricinin, karakterleri ister insansı ister daha fantastik bir şey olsun, Face Tracking API’den gelen sinyalleri kendi karakter donanımına eşlerken oyuncunun orijinal hareketinin anlamsal anlamını korumasını kolaylaştırıyor.”
Meta, kulaklığın dahili veya harici kameraları tarafından çekilen görüntüleri şirketin kendisinin bile göremediğini iddia ediyor. Başlıkta işlenirler ve şirkete göre buluta veya geliştiricilere gönderilmeden hemen silinirler.
Kaynak:
https://www.roadtovr.com/quest-pro-face-tracking-tech-demo-aura/