AI 102

Sessão 01

• Conceito sobre Data Science link
• Conceito sobre Inteligência Artifical link
• Conceito sobre Machine Learning link
  • Responsible AI link
    1. Fairness
    2. Reliability and Safety
    3. Privacy and Security
    4. Inclusiveness
    5. Transparency
    6. Accountability
  • Azure AI Services link
    • Capabilities
      • Language
        1. Text Analysis
        2. Question Answering
        3. Language Understanding
        4. Translation
      • Speech
        1. Speech Recognition
        2. Speech Synthesis
        3. Speech Translation
        4. Speaker Recognition
      • Vision
        1. Image and Video analysis
        2. Image Classification
        3. Object detection
        4. Optical character recognition
      • Generative
        1. Generate text completions
        2. Image Generation
    • Provisioning link
      • Models
        • Multi-Service Azure AI Services
        • Single Service
        • Containers (need Internet)
      • Endpoints
      • Key
      • Location (Regions)
      • REST API
      • SDK
    • AI Services
      • Azure AI Vision link
        • Image Analysis link
          1. Caption and Tag generation
          2. Object Detection
          3. People Detection
          4. Optical Character recognition
          5. Smart Crop Thumbnail
          6. Background removal
          7. Multi-modal Embeddings
          8. Product recognition
        • Method Analyze() CODE
          • Inputs
            • File or URL
            • Visual Feature
              1. VisualFeatures.Caption
              2. VisualFeatures.DenseCaptions
              3. VisualFeatures.Tags
              4. VisualFeatures.Objects
              5. VisualFeatures.SmartCrops
              6. VisualFeatures.People
              7. VisualFeatures.Read
            • Analysis Options (optional)
              1. Cropping aspect ratios
              2. Gender Neutral caption T/F
              3. Language em/pt
              4. Model Version
          • Output
            • captionResult -> {"text":value, "confidence":value}
            • objectResult -> ["text":value, "confidence":value]
            • smartCropsResult -> [{"boundingbox": {"x":value,"y":value,"w":value,"h":value}}]
            • Read Feature -> ["lines":[{"text":value, "boundingPolygon":{"x":value,"y":value}}, "words": {"text":value, "boundPolygon"{"x":value,"y":value}, "confidence":value} ]]
        • Face Detection link
          • Face Service
            • Face Detection CODE
            • Comprehensive facial feature analysis
              • Face attribute analysis
              • Facial landmark location (nose, mouth)
              • Facial liveness
            • Face comparison and identification (require access approval)
              • Data privacy and security
              • Transparency
              • Fairness and Inclusiveness
            • Facial recognition (require access approval)
              • Data privacy and security
              • Transparency
              • Fairness and Inclusiveness
            • IMPORTANT: Toda face identificada recebe um id anônimo (24 horas de duração)
            • Persisted face Recognition
              • Add person group
                • Add person
                  • Persisted Faces
            • Inputs
              • Options
                • returnFaceId, returnFaceLandmarks, returnFaceAttributes, recognitionModel
            • Outputs
              • "faceId"
              • "recognitionModel"
              • "faceRectangle"
              • "faceLandmarks": {"pupilleft":{"x":value, "y":value}}
        • Video Indexer link CODE
          • Facial Recognition
          • Optical character recognition
          • Speech transcription
          • Topics
          • Sentiment
          • Labels
          • Content Moderation
          • Scene Segmentation
          • Custom Insights
            • Facial Recognition (celebrities)
            • Language - industry/organization specific terms
            • Brands

Sessão 02

• Conceito sobre Inteligência Artifical
  • Azure AI Services
    • AI Services
      • Azure AI Language link
        • Analyze Text link
          • Language Detection - Detecta o idioma
          • Key Phrase Extraction - Detecta as palavras chave de um texto
          • Sentiment Analysis - Detecta sentimentos (neuro, positivo, negativo, misto) com uma determinada confiança
          • Name Entity Recognition - Categoriza entidades (pessoa, local, data e hora, organização, endereço, e-mail, url)
          • Entity Linking - usa Wikipedia como base de dados para definir substantivos
          • Summarization
            • Extractive summarization - Frases mais importantes
            • Abstractive summarization - Produz o resumo com a ideia principal
          • Personally Identifiable Information Detection (PII)
            • Detectar e remover dados sensíveis
        • Translating Text link
          • Detection - ISO Language Code
          • Translation - Traduz para idiomas solicitados como path param
          • Transliteration - Tradução fonética entre idiomas
          • Custom Translation - Modelo customizado de tradução para domínios específicos link
        • Question Answering link
          • Responde perguntas através de uma base de conhecimento
        • Language Understanding link
          • Natural Language Processing (NLP) - interface que suporta linguagem Natural
            • Entrada em linguagem natural, modelo determina a intenção, aplicativo reliza a ação
            • Utterance - enunciado
              • Que horas são? Me fale as horas
            • Intent - intenção
              • Saber a hora
            • Entities - entidades
              • Prebuilt entities: (quantidade, data e hora, e-mail, telefone, URL)
          • Custom text Classification
            • Classifica documentos de texto em classes
          • Custom Named Entity Recognition
            • Classifica documentos de texto para encontrar entidades
          • Speech
            • Speech-to-text - duas APIs (Short Audio API)
            • Text-to-speech - duas APIs (Batch synthesis API)
            • Speech Synthesis Markup Language (SSML) - estilos, pausas, enfase, audio de fundo
            • Speech Translation API
            • Speaker Recognition API

Sessão 03

• Conceito sobre Inteligência Artifical
  • Azure AI Services
    • Azure OpenAI link
      • Generative AI - modelos com capacidade de gerar textos, imagens, audio e vídeo através de um prompt
      • Azure OpenAI resource
      • Azure AI Studio link
        • Catálogo de modelos
          • GPT-4 / GPT-3 / Embeddings / DALL-E / Phi / Llama / Mistral / Hugging Face
        • Benchmarks
        • Fine Tuning
        • Prompt Catalog
        • Playground
        • Habilidades: classificação de sentimento, geração de conteúdo, tradução/transformação, sumarização, continuação de texto, resposta de perguntas, chat
        • Integração com aplicações
          • Endpoint + chave
          • Azure OpenAI SDKs
          • Semantic Kernel link
      • Prompt Engineering - técnicas para definir as melhores formas de interagir com os LLM link
        • Instruções claras
        • Grounding Content
        • Dicas sobre como responder
        • System Messages
        • Conversation History
        • Chain of thoughts - pedir para o modelo responder passo a passo
      • Retrieval Augmented Generation (RAG)
        • Azure OpenAI - criar uma fonte de dados, contectar na fonte, usar o modelo
    • Knowledge Mining Solution link
      • Intelligent Search
        • Azure AI Search - indexa documentos, busca dados
          • Data Source / Skillset (data enrichement) / Indexer (mapeamento de dados) / Index (coleção de dados consultável)
          • Custom Skill
        • Knowledge Store - Guarda dados sobre os dados (relacionamentos, estrutura dos documentos)
    • Azure AI Document link
      • Extração de dados de documentos (OCR)
      • Modelos prontos ou customizados para seu formulário