swift 에서 C++ 사용하기 - opencv 연동
swift에서는 직접적으로 C++ 을 사용할 수 없다. C++을 사용하기 위해서는 Object-C 파일에서 C++ 를 사용하고, Object-C 소스 파일과 헤더파일을 생성한 후 Header 파일을 브릿지해서 swift에서 object-c 함수를 호출하도록 해야한다.
구조는 아래와 같다.
실제 C++ 코드는 OpenCVWapper.mm 에서 사용되고 해당 인터페이스의 정의 부분인 OpenCVWrapper.h 파일을 EdgeDector-Bridging-Header.h를 통해서 브릿지 하면 swfit 소스 파일에서 이를 호출해 사용할 수 있는 구조로 이루어 진다.
여기서는 opencv의 프레임워크를 연동해 이미지의 에지를 그리는 예제를 통해서 실제 어떻게 C++ 라이브러리를 swift를 통해서 사용할 수 있는지를 알아보자.
iOS를 위한 opencv2.framework는 cocopad을 통해서 설치하거나, 소스를 컴파일해서 사용할 수 있다.
소스를 컴파일하는 경우 소스 코드에서 아래와 같이 build_framwork.py 파일을 이용해 컴파일 할 수 있다.
python opencv/platforms/ios/build_framework.py ioscocopad은 아래의 이름으로 PodFile에 아래 와 같이 추가해서 opencv2.framework를 프로젝트에 추가할 수 있다.
pod 'OpenCV2'
여기서는 pod을 사용하지 않고 컴파일된 opencv2.framework를 사용해 개발한다.
우선 프로젝트를 생성하고 프로젝트의 하위에 framework 그룹을 생성한 후 opencv2.framework 파일을 추가한다.
이제 OpenCV 라이브러리를 사용하기 위해서 OpenCVWrapper Object-C 파일을 아래와 같이 생성한다. 여기서 중요한 점은
Object-C bridging header 생성 여부를 묻는 창에서 이를 허용해야 한다. 또 생성된 OpenCVWrapper.m 파일의 확장을 .mm으로 변경해야 한다. 이는 .m 파일의 경우 컴파일러가 표준 C++ 헤더 파일을 추가시키지 않기 때문이다. C++을 사용할 경우에는 .mm을 C를 사용할 경우에는 .m 확장자를 사용해야 한다고 기억해 두면 된다.
이제 OpenCVWrapper 클래스에 클래스 함수 detectEdge:(UIImage*) image 함수를 추가해 보자 .
OpenCVWrapper.h
//
// OpenCVWrapper.h
// edgeDetector
//
// Created by HYEONJUN PARK on 2020/09/09.
//
#import <Foundation/Foundation.h>
#import <UIKit/UIKit.h>
NS_ASSUME_NONNULL_BEGIN
@class UIImage;
@interface OpenCVWrapper : NSObject
+(UIImage*) detectEdge:(UIImage*) image;
@end
NS_ASSUME_NONNULL_END
OpenCVWrapper.mm
//
// OpenCVWrapper.m
// edgeDetector
//
// Created by HYEONJUN PARK on 2020/09/09.
//
#import <opencv2/opencv.hpp>
#import <opencv2/imgcodecs/ios.h>
#import "OpenCVWrapper.h"
@implementation OpenCVWrapper
+(UIImage*) detectEdge:(UIImage*) image {
cv::Mat imageMat;
UIImageToMat(image, imageMat);
if(imageMat.channels() == 1) {
return image;
}
cv::Mat grayMat;
cv::cvtColor(imageMat, grayMat, cv::COLOR_BGR2GRAY);
cv::Mat cannyMat;
cv::Canny(grayMat, cannyMat, 50, 150, 3);
return MatToUIImage(cannyMat);
}
@end
edgeDetector-Bridging-Header.h
//
// Use this file to import your target's public headers that you would like to expose to Swift.
//
#include "OpenCVWrapper.h"
이제 CollectionView를 이용해 포토라이브러리에서 사진을 읽어와 해당 사진의 edgeDection을 할 수 있도록 아래와 같이 스트리보드를 디자인한다.
포토 선택화면은 UICollectionViewController를 생성해 구현하고 해당 선택 화면의 컨트롤러의 소스를 아래와 같이 작성한다.
//
// GalleryCollectionViewController.swift
// edgeDetector
//
// Created by HYEONJUN PARK on 2020/09/09.
//
import UIKit
import Photos
private let reuseIdentifier = "PhotoCell"
protocol GalleryViewDelegate {
func didSelectedImage(image : UIImage);
}
class GalleryViewController: UICollectionViewController {
var selectedPhoto: UIImage!
var delegate: GalleryViewDelegate?
private var images = [PHAsset]()
override func viewDidLoad() {
super.viewDidLoad()
fetchPhotos()
}
override func viewWillDisappear(_ animated: Bool) {
}
private func fetchPhotos() {
//1. 포토라이브러리 인증 요청
PHPhotoLibrary.requestAuthorization { [weak self] status in
if status == .authorized {
let assets = PHAsset.fetchAssets(with: PHAssetMediaType.image, options: nil)
assets.enumerateObjects {(asset, count, stop) in
self?.images.append(asset)
}
self?.images.reverse()
//이미지를 모두 가져오면 콜렉션뷰 리로드
DispatchQueue.main.async {
self?.collectionView.reloadData()
}
}
}
}
}
extension GalleryViewController {
// MARK: UICollectionViewDataSource
override func numberOfSections(in collectionView: UICollectionView) -> Int {
return 1
}
override func collectionView(_ collectionView: UICollectionView, numberOfItemsInSection section: Int) -> Int {
return images.count
}
override func collectionView(_ collectionView: UICollectionView, cellForItemAt indexPath: IndexPath) -> UICollectionViewCell {
guard let cell = collectionView.dequeueReusableCell(withReuseIdentifier: reuseIdentifier, for: indexPath) as? PhotoCollectionViewCell else {
fatalError("PhotoCell Not Found")
}
let asset = self.images[indexPath.row]
//PHAsset 을 UIImage 로 변환
let manager = PHImageManager.default()
manager.requestImage(for: asset, targetSize: CGSize(width: 120, height: 120), contentMode: .aspectFit, options: nil) { (image, _) in
DispatchQueue.main.async {
cell.imageView.image = image
}
}
return cell
}
// MARK: UICollectionViewDelegate
override func collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath) {
let asset = images[indexPath.row]
PHImageManager.default().requestImage(for: asset, targetSize: CGSize(width: 300, height: 300), contentMode: .aspectFit, options: nil) { [weak self](image, info) in
guard let info = info else { return }
let isDegradedImage = info["PHImageResultIsDegradedKey"] as! Bool
if !isDegradedImage {
if let image = image {
self?.delegate?.didSelectedImage(image: image)
self?.dismiss(animated: true, completion: nil)
}
}
}
}
}
//Mark - UICollectionViewDelegateFlowLayout 프로토콜 구현
//CollectionViewCell의 크기 설정
extension GalleryViewController: UICollectionViewDelegateFlowLayout {
func collectionView(_ collectionView: UICollectionView, layout collectionViewLayout: UICollectionViewLayout, sizeForItemAt indexPath: IndexPath) -> CGSize {
let cellRatio: CGFloat = 1.0
if (UIDevice.current.orientation.isLandscape) {
return getCellSize(numberOFItemsRowAt: 5, cellRatio: cellRatio)
//return CGSize(width: 120, height: 120)
} else {
return getCellSize(numberOFItemsRowAt: 3, cellRatio: cellRatio)
//return CGSize(width: 120, height: 120)
}
}
private func getCellSize(numberOFItemsRowAt: Int, cellRatio: CGFloat) -> CGSize {
var screenWidth = UIScreen.main.bounds.width
if #available(iOS 11.0, *) {
let window = UIApplication.shared.windows.first{ $0.isKeyWindow }
let leftPadding = window?.safeAreaInsets.left ?? 0
let rightPadding = window?.safeAreaInsets.right ?? 0
screenWidth -= (leftPadding + rightPadding)
}
screenWidth -= 10
let cellWidth = screenWidth / CGFloat(numberOFItemsRowAt)
let cellHeight = cellWidth * cellRatio
return CGSize(width: cellWidth, height: cellHeight)
}
}
위에서 fetchPhotos()는 PHPhotoLibrary 에 접근하기 위해 info.plist 에 "Privacy - Photo Library Usage Description"을 추가해 포토라이브러리 사용 허가 요청을 할 수 있게 해야한다.
UICollectionViewDelegateFlowLayout을 추가해 해당 Collection Cell의 크기를 조절하고, collectionView(_ collectionView: UICollectionView, cellForItemAt indexPath: IndexPath) 에서는 PHAsset을 images 배열에 저장하고
선택 시 collectionView(_ collectionView: UICollectionView, didSelectItemAt indexPath: IndexPath)가 호출되는 데 이때 PHAsset을 PHImageMager를 통해 UIImage로 변환한다.
선택된 이미지는 self?.delegate?.didSelectedImage(image: image)를 통해 ViewController로 전달된다.
//
// ViewController.swift
// edgeDetector
//
// Created by HYEONJUN PARK on 2020/09/09.
//
import UIKit
class ViewController: UIViewController {
@IBOutlet weak var applyButton: UIButton!
@IBOutlet weak var photoView: UIImageView!
override func viewDidLoad() {
super.viewDidLoad()
//applyButton.isHidden = true
}
private func updateUI(with image: UIImage) {
photoView.image = image
//applyButton.isHidden = false
}
}
//MARK: sugue 관련 연산
extension ViewController {
@IBAction func goToGallery(_ sender: UIButton) {
performSegue(withIdentifier: "goToGalleryView", sender: self)
}
override func prepare(for segue: UIStoryboardSegue, sender: Any?) {
if segue.identifier == "goToGalleryView" {
guard let galleryVC = segue.destination as? GalleryViewController else {
fatalError("GalleryViewControlller error")
}
galleryVC.delegate = self
}
}
@IBAction func apply() {
if let image = photoView.image {
let edgeImage = OpenCVWrapper.detectEdge(image)
photoView.image = edgeImage
}
}
}
extension ViewController: GalleryViewDelegate {
func didSelectedImage(image : UIImage) {
photoView.image = image;
}
}
ViewController의 apply() 함수는 Object-C 클래스 OpenCVWrapper.detectEdge() 함수를 호출하게 되는 데 이는 내부적으로 opencv 라이브러리의 함수를 호출해 선택된 이미지에 대한 edgeImage를 반환해주고 이를 photoView.image에 출력한다.
아래 소스에는 opencv2.framework 의 크기 상 이를 삭제한 소스이다. 테스트를 위해서는 opencv2.framework를 cocopod 을 이용해 추가하거나 소스를 다운받아서 컴파일 해서 사용해야 한다.