Вторая часть выпуска  о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. В этом выпуске мы продолжаем обсуждать миграцию баз данных с акцентом на использование AWS DMS и SCT. Вот основные темы, которые мы затронули: Миграция данных с помощью AWS DMS: Обсудили различные типы миграции: full load, CDC (Change Data Capture), и валидацию данных. Как подготовить инфраструктуру AWS для миграции и выбрать подходящий тип репликационного инстанса. Как использовать ассессмент-скрипты DMS для оценки нагрузки на базу данных Oracle и выявления недостающих ключей. Гетерогенные миграции и конвертация кода с AWS SCT: Рассмотрели, как выбирать типы данных при миграции, например, Number() в Oracle и Numeric() в PostgreSQL. Поделились опытом работы с объектами, содержащими бизнес-логику: процедурами, функциями и триггерами. Обсудили сложности конвертации Oracle пакетов и почему AWS SCT не всегда может автоматически конвертировать весь код. Тестирование кода при конвертации: Обсудили важность наличия тестов на базе данных и сложности их написания. Рассказали о фреймворках для тестирования, таких как PgTAP для PostgreSQL и utPLSQL для Oracle. DevOps автоматизация в сложных миграциях: Поделились подходами к автоматизации процессов миграции с использованием CodeCommit, CodeBuild и других AWS сервисов. Рассмотрели альтернативы, такие как TeamCity и Jenkins, и их использование для автоматизации. Быстрый деплой кода базы данных: Обсудили, как быстро развернуть код базы данных в окно миграции с помощью Liquibase. Рассказали о преимуществах использования Liquibase для управления зависимостями объектов и ускорения деплоя индексов. Этот выпуск подкаста — кладезь полезной информации для тех, кто занимается миграцией баз данных и хочет узнать больше о лучших практиках и инструментах AWS. Если у вас есть вопросы или интересные темы для обсуждения, пишите https://t.me/ViktorVedmich, и мы обязательно вернемся к ним в будущих выпусках. Слушайте, подписывайтесь и делитесь с коллегами!

Сегодня мы обсуждаем одну из самых не простых тем в мире AWS — аутентификацию и авторизацию. Вместе с нашим гостем, Artsiom Rachytski, Senior Solutions Architect AWS, мы разберем эти непростые, но очень важные понятия. Разобрали: Что такое аутентификация: современные подходы, OAuth и JWT (SAML 2.0.) Как можно реализовать аутентификацию в приложении с помощью Cognito: Hosted UI, SDK, API Cognito User Pools vs Identity Pools Кастомизация в Cognito и интеграция с сервисами AWS на примере API Gateway Как не нужно кастомизировать: лимиты в Cognito Чем авторизация отличается от аутентификации Почему Cognito не решает задачу авторизации и какой сервис ее решает (Amazon Verified Permissions) Если вам показалось мало, вот тут можно посмотреть и почитать больше RBAC с Amazon Cognito через интеграцию с внешним IdP: https://aws.amazon.com/blogs/security/role-based-access-control-using-amazon-cognito-and-an-external-identity-provider/ Видео с ANZ Summit 2022: Application Identity с помощью Amazon Cognito: https://www.youtube.com/watch?v=8xmJv1f9WLk 

В новом выпуске подкаста 'AWS на русском' мы раскрываем роль аккаунт-менеджера (AM). С нами в гостях опытный аккаунт-менеджер Юлия Андреевна, которая делится инсайдами о том, как строятся отношения с клиентами в AWS. Обсуждаем, что скрывается за кулисами работы аккаунт-менеджеров и какие навыки необходимы для успешной карьеры в этой роли. Юлия также рассказывает о том, как AM-ы AWS сочетают понимание бизнес-процессов клиентов с знанием технологических решений, чтобы предлагать оптимальные пути развития и поддержки. Особое внимание уделяется важности способности к быстрому принятию решений, ориентации на клиента и стремлению к достижению конкретных результатов.

Продолжаем обсуждать новинки из reInvent 2023 🚀. Новый выпуск полностью посвящен обсуждению Generative A. В частности, мы обсудили такие сервисы, как Amazon Q, Amazon Bedrock, векторные базы данных, новое железо для AI, создание своего RAG и многое другое. 🤖 Ссылки на обзор всех новостей вы можете найти ниже.  AWS announces vector search for Amazon MemoryDB for Redis (Preview) Amazon CloudWatch announces AI-powered natural language query generation (in preview) AWS announces Amazon Q (Preview) Boost generative AI application development with Agents for Amazon Bedrock Amazon Q offers help to optimize EC2 instance type selection (preview) Meta Llama 2, Cohere Command Light, and Amazon Titan FMs can now be fine-tuned in Amazon Bedrock Safeguard generative AI applications with Guardrails for Amazon Bedrock (Preview) Knowledge Bases for Amazon Bedrock is now generally available Amazon Titan Text models—Express and Lite—now generally available in Amazon Bedrock Amazon Titan Multimodal Embeddings foundation model now generally available in Amazon Bedrock Stable Diffusion XL 1.0 foundation model from Stability AI is now generally available in Amazon Bedrock Llama 2 70B foundation model from Meta is now available in Amazon Bedrock Claude 2.1 foundation model from Anthropic is now generally available in Amazon Bedrock Evaluate, compare, and select the best FMs for your use case in Amazon Bedrock (Preview) Amazon Q generative SQL is now available in Amazon Redshift Query Editor (preview)

🎙️ Добро пожаловать в первый подкаст 2024 года, где мы обсуждаем самые свежие и значимые анонсы AWS reInvent 2023. Узнайте о последних инновациях в Kubernetes, роли AI в разработке и как Amazon CodeWhisperer поможет написать CDK, CloudFormation и Terraform код. 🔍 Мы также глубоко погружаемся в новые стратегии управления и оптимизации затрат AWS, раскрывая, как эти изменения могут повлиять на вашу ежедневную работу. От нового объединенного интерфейса биллинга до улучшенных инструментов для анализа затрат – узнайте, как эффективно управлять ресурсами и сокращать расходы. 💡 Не пропустите уникальные впечатления от Keynote Вернера и узнайте, как философия "Frugal Architect" может вдохновить вас на новые подходы в разработке. Подключайтесь к нам, чтобы быть в курсе самых актуальных трендов и инноваций в мире AWS!   Ссылки на обзор всех новостей вы можете найти ниже.    Amazon Web Services announces Unified Billing and Cost Management console Introducing Cost Optimization Hub Announcing Data Exports for AWS Billing and Cost Management Amazon CloudWatch Application Signals for automatic instrumentation of your applications Announcing new Amazon EC2 R8g instances powered by AWS Graviton4 processors (Preview) Amazon EKS introduces EKS Pod Identity AWS CloudFormation introduces Git management of stacks Introducing the Amazon CodeCatalyst Enterprise Tier Announcing custom blueprints for Amazon CodeCatalyst AWS Application Composer announces AWS Step Functions Workflow Studio integration Amazon GuardDuty now supports runtime monitoring for Amazon EC2 (Preview) Introducing Amazon GuardDuty ECS Runtime Monitoring, including AWS Fargate Amazon Inspector agentless vulnerability assessments for Amazon EC2 now in preview

👨‍💻 В этом выпуске обсуждаем кто же такой  Solutions Architects в AWS. Вы узнаете, кто они такие, чем отличаются от других видов архитекторов, чем занимаются и многое-многое другое. 💡 Основные темы: 1. Кто такой Solutions Architect?     - Почему именно Solutions, а не Cloud или Systems Architect. 2. Основные навыки архитектора:     - От технической базы до умения вести диалог с бизнесом. 3. Роль Solutions Architect в AWS:     - Всё от общения с клиентами до экспертизы и оценки архитектуры. 4. Как стать архитектором?     - Практические советы для вашего карьерного роста. 5. Разнообразие архитекторов:     - Какие они бывают и в чем их специфика. 6. SA в AWS против Enterprise SA:     - Основные различия. 7. Principal Software Engineer и Solutions Architecture:     - В чем разница? 8. Можно ли обойтись без архитектора?     - Как оценить эффективность SA. 9. Карьерный рост в архитектуре:     - От SA до Principal SA. 🌟 Этот выпуск будет особенно полезен для тех, кто стремится понять, как строится карьера в области архитектуры в IT, какие навыки нужны для успеха, и как Solutions Architect влияют на успех проектов и компаний.

Хотите сэкономить на использовании AWS Lambda и повысить производительность функций? В этом выпуске подкаста мы подробно разберем способы оптимизации serverless приложений и раскроем неочевидные на первый взгляд тонкости настройки Lambda. Мы начнем с того, как правильно выбрать объем оперативной памяти для функций. Оказывается, это напрямую влияет на производительность и стоимость. Далее разберем технологию Snap Start, которая позволяет минимизировать холодные старты Java функций. Поговорим о предварительном создании пула функций с Provisioned Concurrency. Это хороший способ ускорить отклик критичных Lambda. Также узнаем, как использование компилируемых языков вроде Rust и Go вместо интерпретируемых может значительно прибавить скорость выполнения кода. И еще много других полезных советов - от фильтрации ненужных событий до оптимальной инициализации функций. В общем, если хотите выжать максимум из Lambda - обязательно послушайте этот выпуск!   Список полезных ссылок: https://github.com/alexcasalboni/aws-lambda-power-tuning https://awslabs.github.io/aws-lambda-powertools-python/2.16.2/ https://awslabs.github.io/aws-lambda-powertools-typescript/latest/ https://awslabs.github.io/aws-lambda-powertools-java/ https://aws.amazon.com/blogs/compute/optimizing-aws-lambda-cost-and-performance-using-aws-compute-optimizer/

В этом выпуске подкаста мы погружаемся в увлекательный мир Generative AI. Разбираемся с ключевыми аспектами, такими как модели диффузии, Stable Diffusion и особенностями обучения больших языковых моделей (LLMs). Обсуждаем процесс FineTuning, детали RAG и его сравнение с FineTuning, а также принципы работы VectorSearch. И как раз сегодня (28.09.2023) вышел новый сервис от AWS - BedRock, который мы обсуждали в выпуске. Хотите попробовать Generative AI на практике? Узнайте больше о сервисе BedRock и начните своё приключение в мире GenAI с AWS.

В свежем выпуске мы обсудили множество актуальных новостей об AWS за последнее время (Q1-Q2 2023): LightSail for Research - новый сервис для начала работы с Data Science в AWS с низким порогом входа. Обновления в Amazon Aurora - новая ценовая модель без отдельной оплаты операций ввода-вывода, возможные экономии до 40%. AWS S3 Object Lambda - теперь возможно запускать лямбда-функции при GET-запросах к объектам S3. AWS User Notifications - новый сервис для получения объединенных нотификаций от более чем 100 AWS-сервисов. Обзор Amazon CodeWhisperer  - генеративный AI-ассистент для ускорения написания кода. Рассмотрены возможности Amazon Service Catalog для автоматизации развертывания стандартных инфраструктурных компонентов. Улучшения видимости ресурсов VPC на новой ресурс-карте. Как всегда, в подкасте много интересных подробностей и примеров. Заходите на наш канал, слушайте, оставляйте отзывы!   Упомянутые  telegram каналы: https://t.me/aws_notes и https://t.me/awsweekly    Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich  

В этом выпуске мы углубляемся в мир SaaS и разбираемся в архитектуре Multi-tenant на платформе AWS. Поговорим о следующем: Что такое "tenant" и как определить его границы и периметр? В чем ключевое отличие между SaaS и не-SaaS. Можно ли сказать, что "у меня много клиентов на отдельных окружениях" равносильно тому, что "я предоставляю услуги в формате SaaS"? Обсудим! Почему компании выбирают путь SaaS: вопросы стоимости и управления операциями. Эффективность с точки зрения стоимости: на что в первую очередь стоит обратить внимание и почему бесплатные тарифы могут стать "болью". Общие решения для frontend/backend, которые могут настраиваться для каждого клиента, но кодовая база не зависит от конкретного клиента. Как подходить к вопросам изоляции данных. Полезные ссылки: Основы архитектуры SaaS SaaS Lens

В этом эпизоде подкаста, Михаил Голубев (Principle Solution Architect), перехватывает эстафету и становится хостом, чтобы узнать больше о роли Developer Advocate от постоянного ведущего Виктора Ведмича. Виктор делится своими мнениями и опытом в этой роли. Он рассказывает о том, как помогает разработчикам, собирает их отзывы для улучшения продуктов и создает мосты между разработчиками и бизнесом. Если вы хотите узнать, чем занимается Developer Advocate, как эта роль помогает компании, не пропустите этот занимательный и информативный эпизод! Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich

В новом выпуске подкаста мы в глубину погрузились в мир данных вместе с нашим гостем Kurmanov Samat, AWS Community Build, Senior Data Engineer из DataArt Во время обсуждения мы проследили историю появления аналитических хранилищ данных, включая эволюцию от классических Data Warehouses до Data Lakes и современных Lakehouses. Samat подробно разъяснил основные особенности каждого из этих подходов, их преимущества и слабые стороны, а также ситуации, в которых они проявляют себя наилучшим образом. Мы также обсудили набор сервисов AWS, которые активно используются в сфере обработки и анализа данных. Наш гость поделился своими знаниями о том, как эти инструменты помогают достичь желаемого результата, и какой из них выбрать в зависимости от конкретных целей и задач. Завершая нашу беседу, мы затронули вопрос о выгоде Lakehouse решения для бизнеса. Нужен ли он всем? Какие компании могут извлечь максимальную пользу из его применения? Слушайте этот выпуск, чтобы узнать ответы на эти и многие другие вопросы.   Полезные ссылки: https://www.striim.com/blog/data-warehouse-vs-data-lake-vs-data-lakehouse-an-overview/ https://www.databricks.com/blog/2020/01/30/what-is-a-data-lakehouse.html https://delta.io/ Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/ViktorVedmich

Уже третий эпизод и только про AWS организации. В первой части мы закончили говорить про Organization Units, во после обсудили Service Control Policies (SCPs). А в этом эпизоде продолжаем говорить про безопасность, и начали IAM Access Analyzer, поговорили про то как работает SOO, работа c SSO через CLI. Проговорили еще раз лучшие практики написание SCP политик, и как лучшего всего защищать ваш root account, какие есть способы защиты MFA, и как быть если вы утеряли свой MFA. Все это и не только в третьем выпуске про организации. Кажется, тема настолько обширная, что будет и 4-й выпуск, если у вас есть какие-то вопросы по этой теме, пишите -  будем рады добавить в список. Ссылки, которые упоминали во время разговора SSO CLI (Open source from community): https://github.com/synfinatic/aws-sso-cli SCP policies best practice examples: https://docs.aws.amazon.com/organizations/latest/userguide/orgs_manage_policies_scps_examples.html Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Обсудим из чего базы данных состоят, где узкие горлышки, и какие продукты приходят на смену устоявшимся Postgres, MongoDB, Redis, Neo4J.  Например, знали ли вы, что большая часть современных БД хранит данные в Log Structured Merged Tree структуре, а если точнее - в одной ее реализации - RocksDB от Facebook? А что Postgres не умеет работать с асинхронными интерфейсами Linux, и уже на этом уровне в 10 раз медленнее чем новые аналоги построенные на io_uring и SPDK? Или что можно отправить данные с диска на видеокарту в обход процессора? У ребят из Unum есть своя альтернатива RocksDB, которая до 7 раз быстрее, и функционально совместима. И вокруг нее построена череда open-source проектов, включая UKV, универсальную базу данных, которая может хранить документы, графы и бинарные данные, предлагая сквозные ACID транзакции, а также целый набор интуитивно понятных библиотек для пользователей верхнеуровневых языков.  Ее уже можно найти в AWS Marketplace, а документация и исходные коды лежат на GitHub. 

В этом выпуске подкаста мы обсуждаем сложный вопрос выбора базы данных. Иногда наше решение определяется опытом работы с определенными технологиями, но такой подход не всегда гарантирует оптимальный выбор для конкретного приложения. К тому же, ситуация может меняться со временем, когда нагрузка на систему растет, и возникает дилемма: что делать дальше? Вместе с Александром Изюмовым, экспертом по базам данных, и Михаилом Голубевым, мы рассмотрели различные категории баз данных, чтобы помочь вам принять обоснованное решение. Мы рассмотрели: Key-value DB:Amazon DynamoDB Amazon Keyspaces (for Apache Cassandra) Amazon DocumentDB RDBM)Amazon RDS Amazon Aurora + Serverless v2 Graph: Amazon Neptune In-Memory:Amazon ElastiCache for Redis/Amazon ElastiCache for Memcached Amazon MemoryDB for Redis Other:Amazon Timestream Database Amazon Quantum Ledger Database (QLDB) Full-text-search:Amazon OpenSearch Service Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

А вот и вторая часть reCap re:Invent 2022, в этом выпуске сфокусировали на аналитике, ML, DevOps и конечно же безопасности.  В сегодняшнем выпуске мы рассмотрели: Amazon Redshift - updates AWS Glue - updates Amazon DataZone AWS Clean Rooms CodeCatalyst  AWS Lambda Snapstart ML Governance with Amazon SageMaker Amazon SageMaker Data Wrangler И еще несколько новостей одной строкой. Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В новом эпизоде нашего подкаста мы пригласили Егора Мясникова, чтобы обсудить возможности использования Amplify в разработке приложений для iOS, Android, Flutter, Web и React Native. Мы рассмотрели основные компоненты Amplify, включая Studio, CLI, Libraries, UI Components и Web Hosting, и обсудили, как значительно они могут ускорить процесс разработки. Также мы обсудили ситуации, в которых Amplify может быть особенно полезен, и ответили на вопрос, можно ли использовать Amplify для разработки высоконагруженных систем. В конце эпизода мы рассмотрели интеграцию Figma с Amplify и порассуждали о том, могут ли дизайнеры стать кандидатами для становления full-stack developer. Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этот раз re:Invent 2022 посетили 50 000+ человек, прошло 2000 технических сессий на которых презентовали более 100 технологических новинок - и это все только за одну неделю! По традиции в нашем подкасте мы делаем обзор того, что было анонсировано: и это не только новые сервисы, но и детальное обсуждение новых фич в уже существующих.  В одном выпуске очень трудно уместить все, поэтому в первой части мы рассмотрели: -  Amazon Security Lake -  Amazon CloudWatch Internet Monitor  -  AWS Verified Access  -  Amazon Verified permissions -  Amazon EventBridge Pipes -  Trusted Language Extensions for PostgreSQL on Amazon Aurora and Amazon RDS -   Amazon DocumentDB Elastic Clusters -   Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS  -   AWS Control Tower – Comprehensive Controls Management   Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В гостях подкаста - Алексей Григорьев: AWS Hero, автор нескольких книг по ML и лидер https://datatalks.club/  комьюнити.  Вначале мы поговорили о том, как стать AWS Hero - в этой части подкаста можно узнать больше о самой программе и о том, какими активностями занимаются комьюнити лидеры, которые хотят быть частью этой программы. Затем мы обсудили разницу между Data Scientist и ML инженером - кого же, как не Principal Data Scientist об этом расспрашивать, верно?:) И наконец, мы поговорили о подходе Алексея к написанию книг, обсудили мнение, почему код нужно писать раньше, чем книгу о нем, и почему сделать обучающий курс намного легче, чем написать книгу. Если вы интересуетесь ML - курсы и книги Алексея будут отличным стартом для самообразования и перехода в эту сферу. Книги про которые говорили по время подкаста: Machine Learning Bookcamp: Build a portfolio of real-life projects  Mastering Java for Data Science: Analytics and more for production-ready applications Курсы и комьюнити:  https://datatalks.club/   

Если в своей профессиональной карьере вы дошли до уровня Senior, Tech Lead (а уж Architect и подавно), всегда полезно задаться вопросом, что делать дальше. Какие есть варианты в развитии карьеры? Что нового можно сделать там, где уже все так знакомо? Суть, стоящая за аббревиатурой “СТО”, может не только дать ответ на эти вопросы, но и сформировать видение того, каким будет ваш следующий профессиональный шаг.  В сегодняшнем выпуске наш гость Vadym Voitiuk - в прошлом СТО нескольких компаний, а сейчас - Principal Solutions Architect в AWS - рассказал о том, как выглядел его обычный рабочий день в роли СТО, какими были зоны ответственности и какие навыки были самими важными в решении не только ежедневных, но и стратегических задач. Каков баланс между техническими задачами и бизнес-фокусом? Что нужно сделать, чтобы стать CTO? Все это и много других полезных тем - в новом выпуске подкаста “AWS на русском”!   Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В сегодняшнем выпуске подкаста Software Serverless Consultant и AWS Community Builder Игорь Сорока рассказал о роли консультанта в проекте. Может ли проект, построенный на  AWS Lambda, быть монолитом с легаси? Конечно, может! Можно ли избежать ошибок в работе с Lambda в самом начале разработки? Конечно, можно, и Игорь поделился с нами самыми распространенными ошибками и вариантами их обхода.  Почему использование VPC для Lambda может увеличить холодный старт? Как его уменьшить? Какие еще могут быть нюансы работы с serverless в AWS? Так много вопросов и пока там мало ответов:) Заканчиваем читать пост и включаем подкаст.  Полезные ресурсы How a mechanical engineer gained cloud skills to become his own boss  Контакт Игоря Подкаст на английском про IaC c Игорем Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

AWS Outpost - полностью управляемое решение, которое позволяет пользователям вынести инфраструктуру AWS, включая сервисы, API и инструменты в собственный центр обработки данных. И теперь AWS Outposts можно заказать в Казахстан, Viktor Vedmich совместно с Rinat Uzbekov и Igor Sharfmesser - рассказали что за зверь такой AWS Outposts, для каких целей он потребуется, какие сервисы будут доступны на нем. Какой процесс доставки оплаты, все это и не только в нашем подкасте.  Полезные ссылки Видео подкаст: Что такое AWS Outpost и как заказать его в Казахстане? Блог пост: Что такое AWS Outposts и как заказать его в Казахстане AWS Outposts: Ordering and Installation Overview Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

По запросу от наших слушателей рассказываем про AWS Cloud Development Kit (AWS CDK), Антон Коваленко SA AWS c богатым опытом в IaC с использованием CDK, поделился своими знаниями по внедрения CDK в несколько проектов. Мы начали с самого начала, что такое вообще CDK, какая разница CDK и CloudFormation и конечно Terraform? Антон рассказал историей, про то что пока искали DevOps специалиста по работе с IaC, команда разработки довольно легко и быстро освоила CDK и проект не простаивал, а девелоперы сами писали IaC используя CDK. Не забыли проговорить концепты самого CDK construct - L1,L2,L3. А также как CDK поддерживает такое количество языков, и какая глубина знаний нужна для начала работы с CDK. Полезные ссылки CDK Workshop AWS re:Invent 2021 - What's new with AWS CloudFormation and AWS CDK The CDK Book - A Comprehensive Guide to the AWS Cloud Development Kit Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Прошло довольно много времени с момента последнего новостного выпуска, а значит, свежих апдейтов подоспело немало! Что же нового вышло в AWS с конца весны? Подборка материалов и актуальной информации о последних релизах: Новый AWS регион в ОАЭ, а также новость о том, какие регионы в очереди на открытие; Новые инстансы в AWS m6id, c6id, r6id, r6a; Инстансы с 3-м поколением гравитонов (Amazon EC2 C7g) вышли в GA; Cost Management практики - Cost Allocation Tags в EKS и что такое KubeCost; Консолидация нагрузки в Karpenter-е; Всё Serverless с re:Invent теперь GA: Amazon MSK Serverless Now Generally Available–No More Capacity Planning for Your Managed Kafka Clusters Amazon EMR Serverless Now Generally Available – Run Big Data Applications without Managing Servers Amazon Redshift Serverless – Now Generally Available with New Capabilities Amazon SageMaker Serverless Inference – Machine Learning Inference without Worrying about Servers. Если у вас есть вопросы, предложения или темы для будущих подборок, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске мы поговорили о DynamoDB, что это за база данных такая. Начали с основ, какого именно типа база данных DynamoDB, как именно данные хранятся в таблицах. Что такое локальные и глобальные вторичные индексы - чем они отличаются, и когда их стоит применять и создавать. На что стоит обратить внимания во время проектирования хранилища данных используя DynamoDB, и какие есть плюсы минусы при работе с GSI, и почему не стоит забывать про проблему "hot" partition. Все это и не только в новом выпуске вместе с Кареном (Data Community Builder) Полезные ссылки Amazon DynamoDB Deep Dive. Chapter 1: Essentials Перевод: Основы (Вы находитесь здесь!) Amazon DynamoDB Deep Dive. Chapter 2: Tables, Data types, Indexes, Capacity Units Перевод: Компоненты DynamoDB: таблицы, типы данных, индексы, единицы производительности Amazon DynamoDB Deep Dive. Chapter 3: Consistency, DynamoDB streams, TTL, Global tables, DAX Перевод: Консистентность, DynamoDB streams. TTL. Глобальные таблицы. DAX Amazon DynamoDB Deep Dive. Chapter 4: Data Modeling, Best Practices, What’s next Перевод: Моделирование данных. Лучшие практики. Что дальше? Rick Houlihan: DynamoDB deep dive: Advanced design patterns Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Продолжаем говорить про AWS организации. В первой части мы закончили говорить про Organization Units, а во второй уже начали с service control policies (SCPs): как работают политики и как внутренний сервис Amazon - Zelkova, помогает с безопасностью. Что такое AWS Control Tower и как он помогает в построении организации. Не забыли раскрыть тему уменьшения расходов при использовании AWS организации и другие преимущества работы с ней. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts О делегированном администраторе. Что такое Zelkova Если у вас есть вопросы, предложения темы, пишите мне в LinkedIn https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске обсудили специфику бизнеса разработчиков игр и выяснили на опыте интересных публичных кейсов, почему облака так привлекательны игровым компаниям. Также обсудили: Как AWS связан с разработкой игр и их оперированием. Какие бывают задачи: аналитика, гейм-сервера, мета, билды, доставка контента. Рекомендации для инди девелоперов / небольших студий, с чего лучше начать. Как можно экономить, используя AWS, если у вас уже есть игра в оперировании. Полезные ссылки AWS for Games https://aws.amazon.com/gametech/?nc1=h_ls Game Tech Learning Plan - https://explore.skillbuilder.aws/learn/public/learning_plan/view/26/game-tech-learning-plan Если у вас есть вопросы, предложения темы, пишите мне в Linkedin https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

Говорим про AWS организации, в один эпизод не получилось поместить все что хотелось рассказать, поэтому будет целая серия выпусков про AWS организации. А в первой части начинаем с основ: что такое AWS аккаунт, организация, зачем нужны несколько аккаунтов. С чего стоит начать планирования вашей AWS организации. Стоит ли соблюдать закон Конвея при построении вашей организации. Рекомендуемые Organization Units, или с чего начать проектирование вашей организации. Что делать если у вас микро сервисная архитектура, и как она влияет на построение вашей организации. Полезные ссылки Лучшие практики AWS организации AWS Whitepaper - Organizing Your AWS Environment Using Multiple Accounts Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

DeepRacer - это сервис, позволяющий изучать ML в игровой форме через обучение гоночных машинок поведенческим паттернам для наилучшего прохождения треков. Саша (Solutions Architect, AWS) и Ростислав (Solution Architect, EPAM) в этом эпизоде рассказали в деталях о DeepRacer, о своём решении по управлению бюджетом, а также об опыте проведения DeepRacer ивента на 1000 человек для инженеров с различным бэкграундом и зоной экспертизы - разработчиков, аналитиков, системных инженеров, тестировщиков. Какие лиги есть в DeepRacer? Как правильно натренировать вашу модель? Как именно освоение DeepRacer может впоследствии помочь на проекте? Полезные ссылки DeepRacer сервис DeepRacer лиги DeepRacer квоты Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

После очередного выпуска подкаста, слушатели предложили тему ML, а именно рассказать что такое MLOps и как правильно подбирать EC2 инстанс для ML задач. Дима Лаптев (Solution Architect) подключился к обсуждению, и мы в деталях разобрали: Что такое MLOps? Из каких фаз строиться MLOps - какие шаги включены в CI/CD. Как именно он связан с DevOps инженерами, и насколько глубоко надо знать ML, чтобы настроить MLOps на проекте. Как реализовать MLOps в AWS. MLOps настроен, готовы к продакшену, но какие машины лучше подходят для ML задач. Как правильно инстанс для ML нагрузок. Полезные ссылки Build MLOps workflows with Amazon SageMaker projects, GitLab, and GitLab pipelines MLOps Workload Orchestrator Implementations Amazon EC2 Instance Types Amazon SageMaker Pricing - Machine Learning Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

Николай Пойда community builder рассказал о своем опыте сдаче 8 сертификатов. В этом выпуске вы узнаете: Кто такой AWS community builder, какие требования к участникам и какие бенефиты программы История Николая подготовки и сдачи 8-ми сертификатов. В каком порядке Николай сдавал, какие ресурсы использовал (все ссылки ниже). Мотивация важный компонент в долгом путешествии в мир облачной сертификации. Что именно мотивировало Николая сдать столько сертификатов. Поможет ли сертификация в карьере, на примере конкретного человека. Все это и не только в нашем выпуске про сертификацию. Полезные ссылки Курс на DA AWS Certified Developer Associate 2022 - Stephane Maarek AWS Certified Solutions Architect - Professional от Adrian Cantrill Практические тесты по сертификации. Если у вас есть вопросы, предложения темы, пишите мне в Linkedin или телеграмм https://t.me/VictorVedmich

Безопасность одна из важнейших задач для AWS, но стоить вопрос как именно защитить веб приложения. В этом выпуске мы подробно обсудили: - От чего защищаемся? И что такое OWASP Top 10 - Защита сетевого периметра с использованием AWS Network Firewall и AWS Firewall Manager, Security Groups - Что такое WAF? - Как он работает. - Какие WAF правила выбрать и как. На каком уровне модели OSI работает WAF, и каким сервисам можно его подключать. - Где лучше включать WAF на уровне CDN (CloudFront) или на уровне ALB? - Стоит ли защищать статический контент? - Как часто клиенты пишут свои WAF правила? И что такое WCU, и сколько правил стоит применять для своего приложения. - WAF и капча — как это работает. - Защита от DDoS - Шаг назад и разобрали что такое DoS и причем тут rate limiter - Какие типы атак бывают DoS/DDoS - Различие AWS Shield и AWS Shield Advanced. - Еще рекомендации, что вы можете сделать, чтобы защититься от DDoS. Полезные ссылки - AWS WAF - AWS Shield - Automatic application layer DDoS mitigatio - reInvent2021 Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

В этом выпуске ребята из EPAM деляться опытом постороения Data Lake: от разрозненных источников данных к Data Lake и к Data Mesh: как AWS может помочь организации управлять данными. · Место Data Lake в современной организации. Дата продукты и что из них готовят · Что предлагает AWS: каждый кейс индивидуален · DevOps: нетривиальные задачи – нетривиальные решения. · Безопасность превыше всего: AWS LakeFormation · Data Mesh как следующее звено эволюции использования данных Ссылки AWS Lake Formation Workshop Lake Formation access for federated users https://martinfowler.com/articles/data-monolith-to-mesh.html Data-mesh approach using Lake Formation https://aws.amazon.com/big-data/datalakes-and-analytics/what-is-a-data-lake/ https://ru.coursera.org/learn/introduction-to-designing-data-lakes-in-aws Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/или телеграмм https://t.me/VictorVedmich

Новостной выпуск, говорим о последних релизах с марта по апрель. Новые инстансы в AWS на базе AMD - C6a Amazon RDS Multi-AZ теперь поддерживает две RO реплики. Amazon Aurora Serverless v2 теперь в GA. Уточнение Amazon Aurora Serverless v2 - на текущий момент не поддерживает паузу, работает только с первой версией. AWS Lambda Function URLs - поддержка встроенных HTTPS точек доступа для небольших микросервисов. AWS Lambda теперь поддерживает до 10 ГБ временного хранилища. AWS Fargate увеличение скорости масштабирование в 16 раз. Amazon EKS теперь поддерживает Kubernetes 1.22, все детали этого обновления. Таймкоды: 00:01:00 - Новые инстансы на базе AMD C6a 00:05:39 - Amazon RDS Multi-AZ 00:08:35 - Amazon Aurora Serverless v2 00:12:35 - AWS Lambda Function URLs 00:16:00 - AWS Lambda supports 00:18:50 - AWS Fargate 00:22:10 - Amazon EKS supports k8s 1.22 00:29:00 - Секция новости одной строкой. Телеграм канал который был упомянут во время разговора - https://t.me/aws_notes Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/ или телеграмм https://t.me/VictorVedmich

AWS предлагает большое количество разнообразных сертификаций, начиная с простого погружения в базовые знания облачных технологий, заканчивая сложными сертификатами уровня Pro (например, AWS Solution Architect Professional). Также существует множество сертификаций с узкой специализацией - базы данных, сети, безопасность и пр. Но стоит ли тратить свое время на подготовку и сдачу сертификатов в 2022-ом году? Какова их ценность и влияет ли прохождение сертификации на повышение уровня вашей экспертизы? Наша гостья Viktoria Semaan помогла разобраться с вопросами: Нужны ли сертификаты в 2022-ом году? Как часто работодатели обращают внимание на наличие сертификатов у кандидата? Стоит ли проходить сертификацию, если нет практического опыта? Как будет отличаться уровень сертификации Associate level vs Professional AWS Certified Solutions Architect – Associate Certification and AWS Certified Solutions Architect - Professional Certification Сертификаций много - в каком порядке правильно их сдавать? Как готовиться к сертификации? Таймкоды: 00:00:28 - Viktoria Semaan в гостях 00:01:35 - Виктория сдала 3 сертификата за 6 недель 00:05:06 - Нужны ли сертификаты в 2022-ом году? 00:14:35 - Как часто работодатели обращают внимание на наличие сертификатов у кандидата? 00:18:05 - Стоит ли проходить сертификацию, если нет практического опыта? 00:22:15 - Сертификаций много - в каком порядке правильно их сдавать? 00:25:55 - Как будет отличаться уровень сертификации Associate level vs Professional 00:31:33 - Как готовиться к сертификации? 00:36:09 - Стоит ли смотреть на примеры вопросов? Ссылки Профиль Viktoria Semaan Посты от Viktoria Semaan: AWS Developer Associate Certification AWS Solutions Architect Professional Free AWS Training and Certification vouchers for women! AWS Cloud Quest: Cloud Practitioner (game) Официальные бесплатные курсы Бесплатные программы для женщин https://awsshebuildscloudupcpe.splashthat.com/ https://awsshebuildscloudupsaa.splashthat.com/ Как получить практический опыт: https://workshops.aws/ https://www.wellarchitectedlabs.com/ https://awsworkshop.io/

Сегодня у нас в гостях Сергей Поздняков (Lead Systems Engineer, EPAM), поделился историей как мигрировали аналитику видео платформы на 105Tb данных в Amazon EMR. Рассказал почему решили мигрировать, с какими особенностями столкнулись в процессе миграции, архитектуру решения, почему использовали множество Amazon EMR кластеров, а не один большой. Какие инструменты и подходы использовали для миграции и развертывания инфрастуктуры. А также поделился опытом реализации MapReduce на базе Jenkins-a. Таймкоды: 00:00:27 - Гость Сергей Поздняков Lead Systems Engineer, EPAM 00:01:47 - Что мигрировали и почему 00:08:25 - С чего начинали миграцию 00:12:23 - Не удачная структура хранения данных 00:15:50 - MapReduce с помощью Jenkins-а 00:20:00 - Проблемы при миграции 00:22:33 - Почему множество Amazon EMR кластеров 00:26:33 - Что сделал бы сейчас по другому 00:29:40 - Инструменты для создания инфраструктуры 00:34:00 - Советы для других Ссылки Архитектурные разговоры - EMR + Glue + Lambda Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

В этом эпизоде мы поговорили про Serverless сервисы в AWS. Мы рассказали об основных сервисах таких как AWS Lambda, API Gateway, EventBridge, SNS, SQS, StepFunctions и как они помогут вам при создании новых микросервисных, event-driven приложений. Рассмотрели типичные сценарии использования этих сервисов и рассказали о лучших практиках их использования, как построить CI/CD для ваших лямбд. Также упомянули некоторые случаи, когда Serverless будет не лучшим вариантом. Таймкоды: 00:00:24 - Рома Бойко в гостях 00:02:28 - Почему serverless 00:07:20 - 4 характеристики serverless 00:09:05 - Cписок serverless сервисов в AWS 00:12:00 - Основные use-cases 00:16:23 - Как построить CI/CD для serverless 00:22:20 - Ограничения Lambda 00:24:30 - AWS Lambda power tuning 00:28:43 - Разогрев Lambda функций Ссылки Best practices of advanced serverless developers AWS Lambda power tuning Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

Анонсы в AWS идут каждый день, и чтобы оставаться в курсе последних новинок мы добавляем отдельную категорию - новостные выпуски. Обсудили следующие новинки: Guard Duty - теперь обнаруживает когда профиль EC2 инстанса, используется в другом AWS аккаунте. А также можно подключать Guard Duty к вашему Kubernetes EKS кластеру. Amazon VPC теперь поддерживает управляемый AWS список префиксов для Amazon CloudFront App Runner теперь поддерживает VPC Репликация существующих объектов с помощью batch репликации Amazon S3 Amazon DocumentDB (с совместимостью с MongoDB) добавляет дополнительные возможности геопространственных запросов Таймкоды: 00:01:10 - Guard Duty 00:10:55 - AWS-managed prefix list for Amazon CloudFront 00:13:58 - App Runner – VPC Support 00:19:10 - Replicate Existing Objects with Amazon S3 Batch Replication 00:22:35 - Mocking service integrations with AWS Step Functions Local 00:26:40 - Новости одной строкой Ссылки Guard Duty: Instance Credentials, EKS AWS-managed prefix list for Amazon CloudFront App Runner – VPC Support Mocking service integrations with AWS Step Functions Local Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

Как и обещал в этом выпуске у нас гость из Австралии, Евгений Ваганов Head of Networking SA в APJ. Рассказал как про особенности региона, как устроена опорная сеть в AWS. Почему мы используем свое железо и софт для работы сети. Особенности работы SRD (Scalable Reliable Datagram) протокола. И какие тренды в сетях в 2022-ом году. Таймкоды: 00:00:24 - Представления Евгения 00:03:40 - Особенность APJ региона 00:10:05 - Услуги сети в AWS 00:15:03 - Опорная сеть AWS 00:19:00 - AWS hardware для сети 00:26:02 - SRD (Scalable Reliable Datagram) протокол 00:31:23 - Тренды в сетях Ссылки Linkedin Евгения Больше о AWS Networking Networking & Content Delivery blogs (English) AWS Nitro System SRD (Scalable Reliable Datagram) протокол и его использование в AWS Если у вас есть вопросы, предложения темы, пишите мне в Linkedin - https://www.linkedin.com/in/vedmich/

В 6-ом выпуске мы рассмотрели: На что обратить внимание при выборе региона? Какие основные 4 факта помогут вам сделать правильный выбор. В чем разница между регионом и AZ? Почему одна зона с eu-west-1b может отличаться в других. Когда стоит делать мультирегиональные решения, а в каких случаях может хватить мультизонного решения? Таймкоды: 00:00:00 - Начало 00:02:40 - Определение региона и AZ 00:06:05 - Как выбрать регион (4 основных принципа при выборе региона) 00:10:00 - Мультирегиональное решение когда оно нужно 00:14:50 - Что такое ID AZ и как его узнать 00:16:05 - Локальные зоны и Wavelength зоны 00:19:05 - CloudFront точки присутсвия 00:20:05 - Подведение итогов Ссылки: Основные концепты 4 факта при выборе региона Слушайте подкаст "AWS на русском" и делитесь с коллегами!

AWS на русском: говорим про облачные технологии и не только. В 5-ом выпуске мы рассмотрели: лучшие практики безопасности в Amazon S3; с чего стоит начинать, когда создаешь свой первый или очередной бакет; как не допустить утечки данных, если они уже доступны в интернете; какой метод шифрования выбрать в вашей ситуации; как правильно настроить политики, используя IAM Access Analyzer Таймкоды: История из жизни - суровые политики 00:01:30 Политики для S3 00:02:15 IAM Access Analyzer для S3 как использовать 00:07:00 Шифрование в S3 00:08:45 Защита от случайного удаления 00:14:30 Репликация данных 00:18:22 Что нужно сделать, когда дослушаете эпизод 00:20:04 Guard Duty + S3 00:23:00 Подведение итого 00:27:50 Ссылки: Лучшие практики безопасности в Amazon S3 Вебинар “Информационная безопасность в AWS для финансовых организаций“ IAM Access Analyzer Слушайте подкаст "AWS на русском" и делитесь с коллегами!

Приоритет номер 0 для AWS — безопасность. Именно с новостей о безопасности мы и начали наш выпуск: Amazon Inspector, AWS Shield. Продолжили ML/AI новинками: как можно быстро и бесплатно начать погружаться в мир с новой Amazon SageMaker Studio Lab. Как понять нужен ли вообще бизнесу ML без знаний в ML, можно c помощью Amazon SageMaker Canvas быстро проанализировать данные и уже понять надо или нет. Не обошли стороной мир разработчиков и сетевых инженеров. И в конце выпуска затронули новинки в мире мониторинга: приложения и пользовательского. Всё это и не только в нашем 4-м выпуске подкаста "AWS на русском". Таймкоды: Security 00:01:00 Database 00:06:42 ML 00:09:34 Networking 00:17:54 Development 00:25:19 CloudWatch 00:31:15 AWS re:post 00:34:40 Ссылки Amazon SageMaker Studio Lab Amazon SageMaker Canvas Amplify Studio Real-User Monitoring for Amazon CloudWatch CloudWatch Evidently Amazon Inspector AWS re:Post Ссылка на самые важные анонсы re:Invent 2021 (всё вместе) Вопросы и предложения можно писать сюда - https://www.linkedin.com/in/vedmich/

Как же сократить расходы в AWS? Продолжаем тему первого эпизода "AWS на русском". 00:00:22 Вернулись к AWS Well-Architected: как правильно его читать и где можно получить практики по нему. 00:07:30 В деталях разобрали Networking: лучшие практики построения сети (где трафик бесплатный) и как самим правильно настроить маршруты для уменьшения счета за сеть. 00:21:24 И на финал — хранение данных: как правильно настроить жизненный цикл данных и как подходить к хранению данных. Ссылки: AWS Well-Architected Labs Overview of Data Transfer Costs for Common Architectures Exploring Data Transfer Costs for AWS Managed Databases 10 things you can do today to reduce AWS costs #awsнарусском Оставайтесь с нами.

Самые свежие новости в самом свежем выпуске "AWS на-русском". На конференции AWS reInvent 2021 было анонсировано почти 100 новых релизов. Осторожно! В этом большом списке апдейтов можно пропасть на несколько вечеров. Я, Виктор Ведмич (Developer Advocate) вместе с архитекторами AWS, Михаилом Голубевым и Александром Изюмовым, рассмотрели важные анонсы из мира аналитики, хранилищ данных и управления организацией. 30-ти минут выпуска оказалось недостаточно на все новости: скоро выйдет вторая часть. Подписывайтесь на #aws_на-русском, чтобы не пропустить! Ссылки: Control Tower updates: Terraform support, nested OU, region deny Лучшие практики по организации подхода с несколькими аккаунтами AWS: https://docs.aws.amazon.com/whitepapers/latest/organizing-your-aws-environment/organizing-your-aws-environment.pdf https://aws.amazon.com/blogs/aws/new-aws-control-tower-account-factory-for-terraform/ Изменения цен https://aws.amazon.com/blogs/aws/aws-free-tier-data-transfer-expansion-100-gb-from-regions-and-1-tb-from-amazon-cloudfront-per-month/ https://aws.amazon.com/blogs/storage/s3-storage-class-price-reductions/ S3 Glacier Instant Retrieval - напомнить про важность storage classes, про которые говорили в первом эпизоде и рассказать о преимуществах https://aws.amazon.com/blogs/aws/amazon-s3-glacier-is-the-best-place-to-archive-your-data-introducing-the-s3-glacier-instant-retrieval-storage-class/ EBS Snapshot Archive - для долгого хранения снэпшотов недорого https://aws.amazon.com/blogs/aws/new-amazon-ebs-snapshots-archive/

Добро пожаловать, с вами подкаст "AWS на русском"! Где и как сэкономить на облачных ресурсах - один из самых часто задаваемых вопросов. Виктор Ведмич, AWS Developer Advocate и Михаил Голубев (Solutions Architect AWS) решили начать нашу серию подкастов именно с этой темы. В первом выпуске мы обсудили AWS Well Architecture: почему лучше начать рассматривать затраты с архитектурной точки зрения? А также обсудили некоторые детали по compute: Spot Instances, Graviton, Saving plans. Ссылки: https://docs.aws.amazon.com/wellarchitected/latest/cost-optimization-pillar/welcome.html https://aws.amazon.com/savingsplans/ https://aws.amazon.com/blogs/compute/cost-optimization-and-resilience-eks-with-spot-instances/ https://github.com/aws/aws-graviton-getting-started --------- #aws_на-русском Как вам наш "первый блин", комочек? Делитесь мнением в комментариях!