Nvidia’s Instant NeRF AI মাত্র সেকেন্ডের মধ্যে 2D ফটো থেকে 3D দৃশ্য রেন্ডার করে
প্রসঙ্গে: Nvidia NeRF-এর সাথে খেলছে। না, তারা ফোম ডার্ট দিয়ে একে অপরকে গুলি করেনি। NeRF শব্দটি নিউরাল রেডিয়েন্স ফিল্ডের জন্য সংক্ষিপ্ত। এটি এমন একটি কৌশল যা মুষ্টিমেয় স্থির চিত্র (বিপরীত রেন্ডারিং) থেকে একটি ত্রিমাত্রিক দৃশ্য তৈরি করতে AI ব্যবহার করে। কতটা গভীরতা কাঙ্খিত তার উপর নির্ভর করে, ফলাফল রেন্ডার করতে সাধারণত ঘন্টা বা দিন লাগে।
এনভিডিয়ার এআই রিসার্চ আর্ম ইনভার্স রেন্ডারিং নিয়ে কাজ করছে এবং একটি নিউরাল রেডিয়েন্স ফিল্ড তৈরি করেছে যাকে ইন্সট্যান্ট এনআরএফ বলে কারণ এটি 3D দৃশ্যকে অন্যান্য NeRF কৌশলের তুলনায় 1,000 গুণ বেশি দ্রুত রেন্ডার করতে পারে । এআই মডেলের একাধিক কোণ থেকে নেওয়া কয়েক ডজন স্থিরচিত্রের প্রশিক্ষণের জন্য মাত্র কয়েক সেকেন্ডের প্রয়োজন এবং তারপরে দৃশ্যটির একটি 3D দৃশ্য রেন্ডার করতে আরও দশ মিলিসেকেন্ডের প্রয়োজন।
যেহেতু প্রক্রিয়াটি একটি পোলারয়েড নেওয়ার বিপরীত — অর্থাৎ, তাৎক্ষণিকভাবে একটি 3D দৃশ্যকে 2D ছবিতে পরিণত করা — এনভিডিয়া একটি পোলারয়েড ব্যবহার করে অ্যান্ডি ওয়ারহোলের একটি ছবি পুনরায় তৈরি করেছে৷ এই সপ্তাহে, গবেষণা দল এনভিডিয়া জিটিসি (নীচে) তাত্ক্ষণিক এনআরএফ ফলাফলের একটি ডেমো উপস্থাপন করেছে।
"তাত্ক্ষণিক NeRF ভার্চুয়াল বিশ্বের জন্য অবতার বা দৃশ্য তৈরি করতে, 3D তে ভিডিও কনফারেন্স অংশগ্রহণকারীদের এবং তাদের পরিবেশগুলি ক্যাপচার করতে বা 3D ডিজিটাল মানচিত্রের জন্য দৃশ্যগুলি পুনর্গঠন করতে ব্যবহার করা যেতে পারে," এনভিডিয়া বলেছে৷ "একটি NeRF খাওয়ানোর জন্য ডেটা সংগ্রহ করা কিছুটা লাল গালিচা ফটোগ্রাফার হওয়ার মতো যে কোনও সেলিব্রিটির পোশাক প্রতিটি কোণ থেকে ক্যাপচার করার চেষ্টা করছে — নিউরাল নেটওয়ার্কের জন্য দৃশ্যের চারপাশের একাধিক অবস্থান থেকে নেওয়া কয়েক ডজন ছবি প্রয়োজন, সেইসাথে প্রতিটির ক্যামেরা অবস্থান। সেই শটগুলির।"
NeRF এই কয়েক ডজন কোণ থেকে 3D চিত্র তৈরি করে, যেখানে প্রয়োজন সেখানে শূন্যস্থান পূরণ করে। এটা এমনকি occlusions জন্য ক্ষতিপূরণ করতে পারেন. উদাহরণস্বরূপ, যদি কোনো বস্তু কোনো একটি চিত্রে বিষয়ের দৃশ্যকে অবরুদ্ধ করে, তবে AI এখনও সেই কোণটি পূরণ করতে পারে যদিও এটি বিষয়টিকে ভালোভাবে দেখতে পারে না।
প্রযুক্তির দুর্বলতার একটি ক্ষেত্র হল চলমান বস্তুর সাথে কাজ করা।
"একটি দৃশ্যে যেখানে মানুষ বা অন্যান্য চলমান উপাদান রয়েছে, এই শটগুলি যত দ্রুত ক্যাপচার করা হয়, ততই ভাল," এনভিডিয়া বলেছেন। "যদি 2D ইমেজ ক্যাপচার প্রক্রিয়ার সময় খুব বেশি গতি থাকে, তাহলে AI-উত্পন্ন 3D দৃশ্যটি ঝাপসা হয়ে যাবে।"
আরও প্রযুক্তিগত বিবরণের জন্য, এনভিডিয়ার ব্লগ পোস্ট দেখুন । আপনি YouTube-এ Jensen Huang-এর GTC মূল বক্তব্যের বাকি অংশও দেখতে পারেন।