OmniTouch

Một trong những cuộc cách mạng vĩ đại trong điện toán là màn hình cảm ứng. Họ đã mang đến một cách tương tác mới với máy tính, bằng một con trỏ đặc biệt hoặc bằng ngón tay của bạn. Vào năm 2011, Microsoft đã tiến xa hơn với việc giới thiệu OmniTouch, một dự án khiến mọi bề mặt đều có thể chạm được. Ý tưởng cơ bản là gắn một thiết bị máy ảnh và máy chiếu lên vai, thiết bị này chiếu màn hình và đọc các lần nhấn phím của người dùng. Khả năng là vô tận, cho phép chúng ta biến bàn tay, bức tường, tấm vải hoặc bất kỳ bề mặt nào khác thành màn hình cảm ứng.

Cách thức hoạt động của OmniTouch: nhận dạng lần gõ phím

Phần quan trọng nhất của dự án OmniTouch là theo dõi vị trí và độ sâu của các ngón tay, để biết người dùng đang chạm vào đâu. Đối với điều này, một máy ảnh PrimeSense nhạy cảm với độ sâu đã được sử dụng trong nguyên mẫu. Không giống như một máy ảnh đo màu thông thường, PrimeSense đo khoảng cách của từng điểm trong ảnh từ ống kính máy ảnh. Độ chính xác 1 mm và phạm vi tối thiểu 20 cm là những ưu điểm chính so với máy ảnh Kinect vốn được sử dụng trong dự án.

"

Để định vị các ngón tay, trước tiên OmniTouch chụp bản đồ độ sâu (A). Sau đó, bản đồ độ nghiêng được tính>"

Trong (B) bạn có thể thấy bản đồ đó được chuyển thành các màu: màu đỏ có nghĩa là có ít độ sâu hơn theo hướng dương của trục X hoặc Y (lên trên hoặc sang phải) và xanh dương có nghĩa là có độ sâu nhỏ hơn theo hướng âm của trục X hoặc Y (xuống dưới hoặc sang trái).Màu tím có nghĩa là hầu như không có bất kỳ thay đổi nào về độ sâu.

Với bản đồ này, phần mềm tìm kiếm các phần hình trụ thẳng đứng, một bề mặt tiếp cận máy ảnh, sau đó ở lại và cuối cùng di chuyển ra xa. Một ngón tay sẽ là gì nếu bạn chạy nó từ bên này sang bên kia, wow. Trên bản đồ màu, hãy tìm phần màu đỏ, sau đó là phần màu tím, rồi phần màu xanh lam, tất cả nằm trên cùng một trục tung.

Các ứng cử viên có thể được lọc theo chiều cao, để lọc ra bất kỳ thứ gì không thể là ngón tay (ví dụ: không thể nhận dạng một hình trụ cao 2 mm là ngón tay, vì vậy ngón tay đó sẽ bị loại bỏ). Trong hình (C), bạn có thể thấy tất cả các phần ngón tay được xác định.

Sau khi hoàn thành, tất cả các phần dọc được nối lại với nhau để tạo thành ngón tay (hình D). Những ngón tay có thể quá ngắn sẽ bị loại bỏ và người ta cho rằng vì người dùng thuận tay phải nên phần ngoài cùng bên trái của ngón tay là đầu ngón tay.Và voila, bây giờ chúng ta biết nơi người dùng đang trỏ đến .

Bây giờ, làm cách nào để biết liệu ngón tay có chạm vào bề mặt hay không? Họ gọi nó là lấp đầy, nhưng sẽ quen thuộc hơn nếu tôi nói với bạn rằng nó giống như đổ đầy thùng sơn của Paint.

Kỹ thuật này rất đơn giản: xác định vị trí điểm giữa của ngón tay và bắt đầu tô các pixel lên trên, trái và phải với dung sai là 13 mm. Nghĩa là, chúng chỉ lấp đầy một pixel nếu chênh lệch giữa độ sâu của pixel đó và điểm giữa của ngón tay nhỏ hơn 13 milimét.

Bằng cách này, nếu ngón tay của bạn không chạm vào bất kỳ thứ gì, thì chỉ các pixel tương ứng với ngón tay của bạn sẽ được lấp đầy. Nếu bạn đang chạm vào bàn tay, nhiều thứ khác sẽ được lấp đầy. Trong ảnh, bạn có thể thấy điều gì sẽ xảy ra nếu ngón tay ở trên không (trái) hoặc chạm vào bàn tay (phải). Khi vượt qua một giới hạn nhất định của các pixel đã lấp đầy, phần mềm sẽ gửi một lần nhấn hoặc nhấp vào vị trí tương ứng.

Cách thức hoạt động của OmniTouch: Chiếu hình ảnh

Mặc dù nhận dạng ngón tay là phần trung tâm, nhưng chúng ta không thể quên rằng OmniTouch cũng phải chiếu hình ảnh lên bất kỳ bề mặt nào. Buồng độ sâu cũng được sử dụng cho việc này. Tất cả các bề mặt trong hình ảnh được phát hiện bằng cách sử dụng thuật toán thành phần được kết nối, giúp phát hiện rất hiệu quả các điểm được kết nối với nhau trong hình ảnh.

Khi các bề mặt nhỏ hơn bàn tay đã bị loại bỏ, chúng tôi tiến hành cố định tâm hoặc điểm tham chiếu để chiếu hình ảnh. Điểm này giúp phát hiện hướng của bề mặt và do đó cho phép tạo ra hình ảnh trông không bị biến dạng.

Điểm khó khăn tiếp theo là phát hiện kích thước của bề mặt.Do các cạnh của bề mặt không thể được nhận dạng đủ tốt, nên OmniTouch sử dụng giá trị trung bình và độ lệch chuẩn của các điểm thành phần để phân loại thành năm điểm: bàn tay, cánh tay, sổ ghi chép, tường và bàn. Mỗi người trong số họ có một kích thước nhất định và một trung tâm cho hình ảnh.

Phần mềm tạo hình ảnh được chiếu với tất cả dữ liệu, làm biến dạng hình ảnh để hình ảnh xuất hiện chính xác trên bề mặt. Sau đó, nó chuyển hình ảnh đến máy chiếu, máy chiếu này sẽ hiển thị hình ảnh trên bất kỳ bề mặt nào.

Công nghệ chính xác với nhiều khả năng

Các thử nghiệm được sử dụng để đo độ chính xác của OmniTouch.

Trong thử nghiệm, OmniTouch đã chứng tỏ là một công nghệ rất chính xác. Độ chính xác 96,5% khi nhận ra một cú nhấp chuột, một con số rất tốt và thậm chí còn hơn thế nữa nếu xét đến việc nó là một nguyên mẫu.Về kích thước của giao diện, với các nút có đường kính 2 cm, 95% số lần nhấn phím sẽ được nhận diện.

Kích thước tối đa này là cần thiết cho một giao diện được chiếu bằng tay. Trên các bề mặt khác ở xa hơn, chẳng hạn như bàn hoặc tường, nó có thể giảm xuống còn 15 mm, ít nhiều bằng với kích thước được khuyến nghị cho một nút trên màn hình cảm ứng thông thường.

"

Đối với các khả năng, chúng là vô tận. Với nguyên mẫu, một bục giảng đã được tạo ra để vẽ: bạn vẽ trên tường và tay trái chọn màu. Cũng được dùng làm phấn bắt sáng>"

Nhưng điều thú vị nhất là điều họ đề cập ở cuối tài liệu: các khả năng mà OmniTouch mở ra khi chúng ta ngừng xem xét các bề mặt hai chiều, tận dụng các hình dạng của vật thể để thay đổi như thế nào. chúng ta tương tác với máy tính.

"

OmniTouch là một dự án thực sự thú vị, cả về kỹ thuật và khả năng của nó. Chúng ta sẽ sớm nói về anh ấy trong phần đặc biệt Tương lai theo Microsoft>"

Trong Xataka Windows | Tương lai theo Microsoft Thông tin thêm | OmniTouch