Reconhecer pontos de refer�ncia com o Kit de ML no iOS

Comece a usar o Kit de ML para reconhecer pontos de refer�ncia conhecidos em uma imagem.

Antes de come�ar

  1. Se voc� ainda n�o adicionou o Firebase ao seu app, siga as etapas no guia de inicia��o.
  2. Inclua as bibliotecas do Kit de ML no seu Podfile: 
    pod 'Firebase/MLVision', '6.25.0'
    Depois de instalar ou atualizar os pods do projeto, abra o projeto do Xcode usando o .xcworkspace.
  3. Importe o Firebase para seu app:

    Swift

    import Firebase

    Objective-C

    @import Firebase;

  4. Se voc� ainda n�o ativou APIs baseadas em nuvem para seu projeto, siga estas etapas:

    1. Abra a p�gina APIs do Kit de ML no Console do Firebase.

    2. Se voc� ainda n�o fez o upgrade de seu projeto para um plano de pre�os do Blaze, clique em Upgrade para fazer isso. Voc� s� vai receber uma mensagem para fazer upgrade se o projeto n�o estiver no plano Blaze.

      Apenas projetos no n�vel Blaze podem usar APIs baseadas na nuvem.

    3. Caso as APIs baseadas na nuvem ainda n�o estejam ativadas, clique em Ativar APIs baseadas na nuvem.

Configurar o detector de ponto de refer�ncia

Por padr�o, o detector do Cloud usa a vers�o est�vel do modelo e retorna at� 10 resultados. Se voc� quiser alterar qualquer uma dessas configura��es, especifique-as com um objeto VisionCloudDetectorOptions, como no exemplo a seguir:

Swift

let options = VisionCloudDetectorOptions()
options.modelType = .latest
options.maxResults = 20

Objective-C

  FIRVisionCloudDetectorOptions *options =
      [[FIRVisionCloudDetectorOptions alloc] init];
  options.modelType = FIRVisionCloudModelTypeLatest;
  options.maxResults = 20;

Na pr�xima etapa, transmita o objeto VisionCloudDetectorOptions ao criar o objeto detector do Cloud.

Executar o detector de ponto de refer�ncia

Para reconhecer pontos de refer�ncia em uma imagem, transmita a imagem como UIImage ou CMSampleBufferRef para o m�todo detect(in:) do VisionCloudLandmarkDetector:

  1. Receba uma inst�ncia de VisionCloudLandmarkDetector:

    Swift

    lazy var vision = Vision.vision()

let cloudDetector = vision.cloudLandmarkDetector(options: options)
// Or, to use the default settings:
// let cloudDetector = vision.cloudLandmarkDetector()

    Objective-C

    FIRVision *vision = [FIRVision vision];
FIRVisionCloudLandmarkDetector *landmarkDetector = [vision cloudLandmarkDetector];
// Or, to change the default settings:
// FIRVisionCloudLandmarkDetector *landmarkDetector =
//     [vision cloudLandmarkDetectorWithOptions:options];

  2. Crie um objeto VisionImage usando um UIImage ou um CMSampleBufferRef.

    Para usar um UIImage:

    1. Se necess�rio, gire a imagem para que a propriedade imageOrientation seja .up.
    2. Crie um objeto VisionImage usando a UIImage com a rota��o correta. N�o especifique metadados de rota��o: o valor padr�o, .topLeft, precisa ser usado.

      Swift

      let image = VisionImage(image: uiImage)

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithImage:uiImage];

    Para usar um CMSampleBufferRef:

    1. Crie um objeto VisionImageMetadata que especifique a orienta��o dos dados da imagem contidos no buffer CMSampleBufferRef.

      Para ver a orienta��o da imagem:

      Swift

      func imageOrientation(
    deviceOrientation: UIDeviceOrientation,
    cameraPosition: AVCaptureDevice.Position
    ) -> VisionDetectorImageOrientation {
    switch deviceOrientation {
    case .portrait:
        return cameraPosition == .front ? .leftTop : .rightTop
    case .landscapeLeft:
        return cameraPosition == .front ? .bottomLeft : .topLeft
    case .portraitUpsideDown:
        return cameraPosition == .front ? .rightBottom : .leftBottom
    case .landscapeRight:
        return cameraPosition == .front ? .topRight : .bottomRight
    case .faceDown, .faceUp, .unknown:
        return .leftTop
    }
}

      Objective-C

      - (FIRVisionDetectorImageOrientation)
    imageOrientationFromDeviceOrientation:(UIDeviceOrientation)deviceOrientation
                           cameraPosition:(AVCaptureDevicePosition)cameraPosition {
  switch (deviceOrientation) {
    case UIDeviceOrientationPortrait:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationLeftTop;
      } else {
        return FIRVisionDetectorImageOrientationRightTop;
      }
    case UIDeviceOrientationLandscapeLeft:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationBottomLeft;
      } else {
        return FIRVisionDetectorImageOrientationTopLeft;
      }
    case UIDeviceOrientationPortraitUpsideDown:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationRightBottom;
      } else {
        return FIRVisionDetectorImageOrientationLeftBottom;
      }
    case UIDeviceOrientationLandscapeRight:
      if (cameraPosition == AVCaptureDevicePositionFront) {
        return FIRVisionDetectorImageOrientationTopRight;
      } else {
        return FIRVisionDetectorImageOrientationBottomRight;
      }
    default:
      return FIRVisionDetectorImageOrientationTopLeft;
  }
}

      Em seguida, crie o objeto de metadados:

      Swift

      let cameraPosition = AVCaptureDevice.Position.back  // Set to the capture device you used.
let metadata = VisionImageMetadata()
metadata.orientation = imageOrientation(
    deviceOrientation: UIDevice.current.orientation,
    cameraPosition: cameraPosition
)

      Objective-C

      FIRVisionImageMetadata *metadata = [[FIRVisionImageMetadata alloc] init];
AVCaptureDevicePosition cameraPosition =
    AVCaptureDevicePositionBack;  // Set to the capture device you used.
metadata.orientation =
    [self imageOrientationFromDeviceOrientation:UIDevice.currentDevice.orientation
                                 cameraPosition:cameraPosition];
    2. Crie um objeto VisionImage usando o objeto CMSampleBufferRef e os metadados de rota��o:

      Swift

      let image = VisionImage(buffer: sampleBuffer)
image.metadata = metadata

      Objective-C

      FIRVisionImage *image = [[FIRVisionImage alloc] initWithBuffer:sampleBuffer];
image.metadata = metadata;
  3. Em seguida, transmita a imagem para o m�todo detect(in:):

    Swift

    cloudDetector.detect(in: visionImage) { landmarks, error in
  guard error == nil, let landmarks = landmarks, !landmarks.isEmpty else {
    // ...
    return
  }

  // Recognized landmarks
  // ...
}

    Objective-C

    [landmarkDetector detectInImage:image
                     completion:^(NSArray<FIRVisionCloudLandmark *> *landmarks,
                                  NSError *error) {
  if (error != nil) {
    return;
  } else if (landmarks != nil) {
    // Got landmarks
  }
}];

Ver informa��es sobre os pontos de refer�ncia reconhecidos

Se o reconhecimento de pontos de refer�ncia for bem-sucedido, uma matriz de objetos VisionCloudLandmark ser� transmitida ao gerenciador de conclus�o. Voc� pode receber informa��es sobre um ponto de refer�ncia reconhecido na imagem em cada objeto.

Por exemplo:

Swift

for landmark in landmarks {
  let landmarkDesc = landmark.landmark
  let boundingPoly = landmark.frame
  let entityId = landmark.entityId

  // A landmark can have multiple locations: for example, the location the image
  // was taken, and the location of the landmark depicted.
  for location in landmark.locations {
    let latitude = location.latitude
    let longitude = location.longitude
  }

  let confidence = landmark.confidence
}

Objective-C

for (FIRVisionCloudLandmark *landmark in landmarks) {
   NSString *landmarkDesc = landmark.landmark;
   CGRect frame = landmark.frame;
   NSString *entityId = landmark.entityId;

   // A landmark can have multiple locations: for example, the location the image
   // was taken, and the location of the landmark depicted.
   for (FIRVisionLatitudeLongitude *location in landmark.locations) {
     double latitude = [location.latitude doubleValue];
     double longitude = [location.longitude doubleValue];
   }

   float confidence = [landmark.confidence floatValue];
}

Pr�ximas etapas