Implementasi Deep Fusion milik iPhone 11 pada hasil kamera

Samsung Galaxy J7 Prime Menggunakan Adobe Lightroom

dan OpenCV

Y Prasetyo1

1 Program Studi Teknik Informatika, Institut Teknologi Bandung, Jalan Ganesha No.10,

Bandung

E-mail: 13515148@std.stei.itb.ac.id

Abstrak. Deep Fusion merupakan fitur pemrosesan citra teranyar dari Apple untuk iPhone 11

yang diperuntukkan untuk memroses citra yang ditangkap oleh kamera iPhone 11 dengan

menggunakan Neural Engine milik prosesor iPhone 11, yaitu A13 Bionic, untuk menghasilkan

citra dengan tekstur dan detail yang lebih baik serta mengurangi noise pada citra dengan cahaya

yang redup. Saat tombol shutter akan ditekan, iPhone sudah terlebih dahulu mengambil 4 foto

dengan shutter speed yang sengat cepat dan juga 4 foto dengan shutter speed standar. Lalu

setelah tombol shutter ditekan, iPhone akan mengambil 1 foto dengan exposure yang lebih

panjang dari 4 foto tadi. 9 Foto di atas lalu digabungkan menjadi sebuah citra yang dinamai

Apple “synthetic long”. Lalu iPhone memilih 1 foto dengan exposure yang pendek dari 8 foto

yang diambil tadi yang memiliki detail yang paling baik, dan menggabungkannya dengan foto

“synthetic long” tadi, hasil gabungan foto ini kemudian dilakukan noise reduction. Lalu iPhone

memroses gambar hasil gabungan tadi, yaitu melakukan perbaikan pada objek dengan frekuensi

cahaya yang rendah seperti langit dan tembok, lalu objek dengan frekuensi cahaya yang tinggi

seperti rambut, kulit, kain dll. Pemrosesan ini dilakukan sebanyak 4 kali. Lalu citra hasil deep

fusion pun jadi. Pada makalah kali ini, penulis ingin mengimplementasikan langkah-langkah

pemrosesan citra deep fusion di atas dengan menggunakan citra hasil tangkapan kamera

Samsung Galaxy J7 Prime milik penulis, dengan menggunakan Adobe Lightroom dan OpenCV.

1. Introduction

Hasil kamera smartphone flagship zaman sekarang sudah sangat baik kualitasnya. Dengan harga yang

belum tentu bias dijangkau semua kalangan, belum tentu semua orang memiliki handphone flagship.

Salah satunya adalah iPhone 11 series yang terdiri dari iPhone 11, iPhone 11 Pro dan iPhone 11 Pro

Max. Hasil kamera dari iPhone 11 Pro tentu sudah tidak diragukan lagi kualitasnya mengingat

smartphone ini merupakan smartphone terbaik dan teranyar yang dirilis oleh Apple pada tahun 2019.

Berikut adalah contoh hasil kamera dari iPhone 11 series.

Gambar 1. Contoh hasil kamera iPhone 11 series (Sumber : https://cdn.dxomark.com/wp-

content/uploads/medias/post-36941/1_Iphone11ProMax-17-1024x768.jpg)

Gambar 2. Histogram dari gambar di atas

Dari histogram di atas, dapat dilihat bahwa kompisis warna dari hasil kamera iPhone 11 merata pada

kanal Red, Green dan Blue nya. Salah satu fitur yang digadang-gadang kan Apple untuk membuat hasil

kamera iPhone 11 series adalah Deep Fusion. Deep Fusion merupakan fitur pemrosesan citra teranyar

dari Apple untuk iPhone 11 yang diperuntukkan untuk memroses citra yang ditangkap oleh kamera

iPhone 11 dengan menggunakan Neural Engine milik prosesor iPhone 11, yaitu A13 Bionic, sedemikian

rupa sehingga menghasilkan citra dengan tekstur dan detail yang lebih baik serta mengurangi noise pada

citra dengan cahaya yang redup.

Berhubung penulis tidak memiliki iPhone 11 tetapi ingin memiliki hasil tangkapan kamera dengan

kualitas yang menyamai iPhone 11, maka penulis akan membahas satu persatu langkah yang dibutuhkan

untuk membuat hasil tangkapan kamera smartphone, yang dalam konteks ini merupakan kamera

smartphone Samsung Galaxy J7 Prime milik penulis, memiliki kualitas sebaik iPhone 11, dengan

menggunakan Adobe Lightroom dan OpenCV.

2. Spesifikasi Kamera iPhone 11 Series dan Samsung Galaxy J7 Prime

Pastinya, spesifikasi kamera mempengaruhi hasil tangkapan kamera tersebut. Berikut adalah spesifikasi

kamera iPhone 11 series. (DXO Mark, 2019)

• Triple-camera setup • Primary: 12MP 1/2.55″ sensor, 26mm-equivalent f/1.8-aperture lens, PDAF, OIS

• Ultra-wide: 12MP sensor, 13mm-equivalent f/2.4-aperture lens

• Tele: 12Mp 1/3.4″ sensor, 52mm-equivalent f/2.0-aperture lens, PDAF, OIS

• Quad-LED dual-tone flash

• 4K video, 2160p/60fps (1080p/30fps default)

Sedangkan berikut adalah spesifikasi kamera dari Samsung Galaxy J7 Prime (GSM Arena, n.d.).

• Single-camera setup • Primary: 13MP, 28mm-equivalent f/1.9-aperture lens, AF

• Mono-LED mono-tone flash

• Full HD video, 1080p/30fps

3. Kakas yang digunakan

Berikut adalah penjelasan mengenai kakas yang digunakan pada makalah kali ini.

3.1. Adobe Lightroom Mobile

Abode Lightroom Mobile merupakan perangkat lunak gratis buatan Adobe yang berjalan pada platform

mobile (Android/iOS) yang menyediakan kakas-kakas untuk melakukan koreksi pada foto. Koreksi

pada foto berupa exposure, shadows, highlights, saturation, temperature, vignette, dehaze, clarity, split-

tone dan lain-lain. Adobe Lightroom ini nantinya hanya digunakan untuk menyunting gambar yang telah

diambil menggunakan kamera Samsung Galaxy J7 Prime, yaitu menurunkan dan menaikkan exposure

dari gambar tersebut.

3.2. OpenCV

OpenCV merupakan kependekan dari Open Computer Vision. OpenCV merupakan pustaka yang open-

source yang bebas digunakan untuk keperluan apapun. OpenCV juga mendukung beberapa Bahasa

pemrograman seperti C++, Java dan Python dan juga bias digunakan di berbagai system operasi seperti

Windows, Linux, MacOS, iOS dan Android (OpenCV Team, n.d.). OpenCV ini nantinya akan

digunakan untuk melakukan merging gambar-gambar yang sudah dikumpulkan dan disunting

menggunakan Adobe Lightroom, dan juga untuk melakukan pemrosesan yang meliputi perbaikan pada

objek dengan frekuensi cahaya yang rendah seperti langit dan tembok, lalu objek dengan rekuensi

cahaya yang tinggi seperti rambut, kulit, kain dan lain-lain.

4. Rancangan Solusi

4.1. Mengambil Gambar

Langkah pertama yang harus dilakukan pada implementasi Deep Fusion pada hasil kamera Samsung

Galaxy J7 Prime, adalah tentu saja mengambil gambar yang diinginkan. Pada konteks kali ini, penulis

mengambil gambar dari kereta Jakarta menuju Bandung, di daerah sekitar Padalarang sampai

Purwakarta. Gambar juga diekstrak histogramnya untuk menjadi perbandingan dengan hasil akhir dari

implementasi solusi ini.

4.2. Menyunting Gambar di Adobe Lightroom

Langkah selanjutnya adalah menyunting gambar yang baru diambil tadi menggunakan Adobe

Lightroom. Proses penyuntingan gambar ini sangatlah mudah, hanya manurunkan dan menaikkan

exposure, sehingga didapat gambar yang under expose dan over expose. Proses penyuntingan

menghasilkan 4 buah gambar under exposure dengan tingat exposure yang berbeda-beda dan 1 buah

gambar over exposure.

4.3. Menggabungkan Gambar-Gambar Menjadi Gambar Synthetic Long

Langkah selanjutnya adalah menggabungkan gambar-gambar tadi untuk menjadi gambar baru yang

bernama “synthetic long”. Proses ini dilakukan dengan menggunakan fitur merge exposure pada

OpenCV. Pertama gambar di resize sehingga tidak memakan banyak memori dalam proses

pemrosesannya. Kemudian gambar dikelompokkan menjadi kategori gambar normal dan gambar under

expose, dan kemudian lakukan merge exposure pada kategori gambar tadi sehingga menghasilkan 2

gambar baru. Dua buah gambar hasil merge exposure kategori tadi di merge lagi bersama dengan satu

buah gambar over exposure. Proses ini akan menghasilkan gambar yang disebut sebagai “synthetic

long”.

4.4. Menggabungkan Gambar Synthetic Long dengan Gambar Exposure endah

Langkah selanjutnya adalah menggabungkan gambar “synthetic long” tadi dnegan gambar yang

memiliki exposure yang paling erendah diantara gambar awal. Tujuannya adalah untuk mendapatkan

detail yang lebih baik pada gambar “synthetic long” tersebut.

4.5. Melakukan Perbaikan Objek

Langkah selanjutnya adalah melakukan perbaikan pada objek-objek tertentu. Perbaikan pada objek

dengan frekuensi cahaya yang rendah seperti langit dan tembok dilakukan dengan merging gambar yang

sudah diproses sebelumnya dengan gambar yang memiliki exposure terendah agar mendapatkan detail

dan tone warna yang lebih baik. Sedangkan objek dengan rekuensi cahaya yang tinggi seperti rambut,

kulit, kain dan lain-lain, dilakukan dengan merging gambar yang sudah di proses tadi dengan gambar

yang memiliki exposure yang tinggi agar mendapatkan detail dan kecerahan yang lebih baik. Langkah

perbaikan gambar dilakukan iterasi sebanyak 4 kali agar mendapatkan hasil yang optimal.

4.6. Melakukan Perbandingan Histogram

Langkah terakhir adalah melakukan perdandingan histogram. Hasil akhir gambar akan diekstrak

histogramnya dan dibandingkan dengan histogram gambar awal.

5. Implementasi Solusi

5.1. Mengambil Gambar

Berikut adalah gambar yang penulis ambil menggunakan Samsung Galaxy J7 Prime beserta dengan

histogramnya.

Gambar 3. Gambar yang diambil oleh penulis

Gambar 4. Histogram gambar yang diambil penulis

5.2. Menyunting Gambar di Adobe Lightroom

Proses menyunting gambar di Adobe Lightroom bertujuan hanya untuk mendapatkan gambar under

expose dan gambar over expose. Proses penyuntingan hanya menurunkan dan menaikkan exposure dari

gambar sehingga dihasilkan 4 gambar under expose dengan exposure yang berbeda dan 1 gambar over

expose. Berikut adalah hasil yang didapatkan penulis.

Gambar 5. (Kiri) Contoh hasil gambar under expose dan Gambar 6. (Kanan) Contoh hasil gambar

over expose

5.3. Menggabungkan Gambar-Gambar Menjadi Gambar Synthetic Long

Menggabungkan gambar-gambar tadi menjadi gambar “synthetic long” dengan menggunakan merging

yang terdapat pada OpenCV. Berikut adalah hasil penggabungan gambar-gambar di atas yang dinamai

dengan gambar synthetic long.

Gambar 7. Hasil penggabungan gambar-gambar yang dinamai synthetic long.

5.4. Menggabungkan Gambar Synthetic Long dengan Gambar Exposure Rendah

Menggabungkan gambar synthetic long tersebut dengan gambar exposure rendah untuk mendapatkan

detail yang lebih baik pada gambar. Berikut adalah hasil penggabugan antara gambar synthetic long

dengan gambar exposure rendah.

Gambar 8. Hasil penggabungan gambar synthetic long dengan gambar exposure rendah

5.5. Melakukan Perbaikan Objek

Melakukan perbaikan objek-objek dengan frekuensi cahaya tinggi dan frekuensi cahaya rendah dengan

menggabungkan gambar di atas dengan gambar exposure tinggi dan exposure rendah. Proses ini

dilakukan iterasi sebanyak 4 kali. Berikut adalah hasil perbaikan objek, yang juga merupakan hasil akhir.

Gambar 9. Hasil akhir citra yang telah mengalami proses deep fusion

5.6. Melakukan Perbandingan Histogram

Sebelum melakukan perbandingan histogram, penulis ingin memperlihatkan hasil sebelum dan

sesudah proses deep fusion.

Gambar 10. (Kiri) Hasil gambar tangkapan kamera Samsung Galaxy J7 Prime dan Gambar 11.

(Kanan) Hasil gambar setelah mengalami proses deep fusion

Berikut adalah perbandingan histogram masing-masing gambar.

Gambar 12. (Kiri) Histogram gambar tangkapan kamera Samsung Galaxy J7 Prime dan Gambar 13.

(Kanan) Histogram gambar setelah mengalami proses deep fusion

6. Kesimpulan

Kesimpulan yang dapat diambil adalah bahwa dengan menggunakan Adobe Lightroom untuk

menghasilkan gambar over expose dan under expose, dan juga OpenCV untuk mengolah gambar nya,

maka hasil tangkapan kamera Samsung Galaxy J7 Prime dapat setara dengan hasil tangkapan kamera

iPhone 11.

7. References

DXO Mark. (2019, November 7). Apple iPhone 11 Pro Max camera review. Retrieved from DXO Mark:

https://www.dxomark.com/apple-iphone-11-pro-max-camera-review/ GSM Arena. (n.d.). Samsung Galaxy J7 Prime. Retrieved from GSM Arena:

https://www.gsmarena.com/samsung_galaxy_j7_prime-8314.php

OpenCV Team. (n.d.). Open CV. Retrieved from Open CV: https://opencv.org/

Patel, N., & Faulkner, C. (2019, October 2). The iPhone 11’s Deep Fusion camera arrives with iOS 13.2

developer beta. Retrieved from The Verge:

https://www.theverge.com/2019/10/1/20893516/apple-deep-fusion-camera-mode-iphone-11-

pro-max-ios-13-beta

Selleck, E. (2019, October 28). Deep Fusion in iOS 13.2 makes the iPhone 11 Pro’s camera even better.

Retrieved from iDownloadBlog: https://www.idownloadblog.com/2019/10/28/ios-13-2-deep-

fusion-intro/

Vincente, V. (2019, November 1). What Is the Deep Fusion Camera on the iPhone 11? Retrieved from

How-To Geek: https://www.howtogeek.com/445014/what-is-the-deep-fusion-camera-on-the-

iphone-11/

Perhatian: Makalah anda dalm format PDF diunggah ke Google Drive ini:

https://drive.google.com/drive/folders/1Uk-927XNy1yEAmm6yQRhYvS34gXRM3bL?usp=sharing