TECHJUN

Tensorflow Lite + Android = Android ML Platform

뽕다르 — Thu, 5 Aug 2021 17:59:59 +0900

[요약]

Tensor Flow Lite for Android: Tensorflow Lite가 이제 Google Play Service에 포함되어 배포
Automatic Acceleration : 디바이스에 따라 하드웨어 가속을 포함하여 자동으로 최적의 연산을 결정
Android 버전을 포괄하는 일관된 API : 정기적인 Google Play Service 업데이트를 통한 API 업데이트
이런 구성을 통합해 Android ML Platform이라고 명칭

구글이 Tensorflow Lite를 안드로이드에 통합하고, 자동 가속 기능을 포함한 Android ML Platform을 발표했습니다.

Tensorflow Lite는 구글이 만든 인공지능 모델 개발, 추론을 위한 Tensorflow의 모바일 버전으로, 스마트폰이나 임베디드 같은 제한된 리소스 환경에서 최적의 인공 지능 추론 연산을 위한 딥러닝 프레임워크입니다. 지금까지 안드로이드 앱 개발자가 딥러닝 기술을 활용하기 위해서는 안드로이드용 Tensorflow Lite 패키지를 앱에 추가 후 개발해야 했는데, 이렇게 되면 많은 문제점이 있습니다.

먼저 앱 사이즈 문제인데요. 요즘 같이 네트워크 속도가 빨라지고, 스마트폰의 저장 공간이 커졌다고 해도 앱 용량은 앱 개발자에게 큰 압박이게 사실입니다. 그런데 딥러닝 추론 연산만을 위해 수 메가의 tensorflow lite aar를 포함해야 하기 때문에 전체 앱 사이즈에서 상당한 비용을 치러야 합니다.

두 번째는 딥러닝 연산 성능의 일관성 문제입니다. 딥러닝 추론 연산은 디바이스의 메모리 또는 계산 능력에 따라 연산 시간, 연산 결과, 동작 안정성에 많은 차이가 발생합니다. 애플리케이션 개발자 입장에서는 이런 모든 디바이스의 상황을 고려해 개발할 수 없기 때문에 검증된 일부 디바이스를 제외하고는 정상적인 동작과 성능을 보장할 수 없게 됩니다. 결국 이런 일관성 없는 동작은 유저 경험을 망치게 되고 전체 안드로이드 생태계에 부정적인 영향을 끼치게 됩니다.

세 번째는 두 번째 문제와 관련해서 개발자들은 최대한 많은 디바이스에서 동작과 성능을 보장하기 위해 가능하면 오래된 API, 딥러닝 모델을 선택할 수밖에 없다는 점입니다. 아주 좋은 성능의 딥러닝 모델이 있더라도, 최신의 일부 디바이스에서만 쓸수 있다면 개발자 입장에서는 쓸 이유가 없기 때문입니다.

이런 문제를 해결하기 위해 구글은 먼저 Tensorflow Lite를 앱 개발자가 신경 쓰지 않고 쓸 수 있도록 Google Play Service에 포함시킬 예정이라고 발표했습니다. Google Play Service 자체가 이렇게 안드로이드 버전 별로 파편화된 Google Service 관련 API를 모아 놓은 패키지 이기 때문에 사실상 이제야 제대로 된 자리를 찾았다고 볼 수 있습니다. 덕분에 최신 딥러닝 기술을 위한 API, 호환성 등은 이제 앱 개발자가 신경 쓰지 않아도 가능한 많은 디바이스에서 최신 기술을 쓸 수 있게 되는 것입니다. 다른 의미론 Tensorflow Lite가 이제 안드로이드의 핵심 API에 포함되었다는 점에서도 큰 의미가 있습니다.

뿐만 아니라 디바이스별로 성능 파편화를 최대한 막기 위한 자동 가속 기능을 공개했습니다. 지금은 앱 개발자가 모바일에서 딥러닝 연산을 가속하기 위해 특정 하드웨어 가속 장치(GPU, DSP, NPU)를 임의로 셋팅 해야 하는데, 이 때문에 디바이스 간에 성능 차이가 많이 발생하게 됩니다. 자동 가속 기능은 이런 문제를 해결하기 위해 디바이스에 있는 하드웨어 가속 가속 장치에서 최적의 가속기를 찾아 자동으로 적용해 주게 됩니다. 실제로 안드로이드 NNAPI가 이미 이러한 기능을 하고 있고 Tensorflow Lite에서도 NN API가 연동 되어 있는데, 앞으론 유기적으로 통합될 것으로 보입니다.

이렇게 Tensorflow Lite와 Google Play Service를 통합하고 Android NN API를 통해 딥러닝 성능의 상향 평준화를 목표로 하는 것이 바로 Android ML Platform입니다. Android ML Platform는 안드로이드에서 AI는 이제 하나의 기능이 아니라 안드로이드 그 자체가 AI플랫폼이 되는 첫발이라는 점에서 의미가 큰것 같습니다. 정식 적용은 올해 말에 예정되어 있습니다.

Announcing Android’s updateable, fully integrated ML inference stack

Posted by Oli Gaymond , Product Manager, Android ML On-Device Machine Learning provides lower latency, more efficient battery usage, ...

android-developers.googleblog.com

Google Tensor SoC

뽕다르 — Tue, 3 Aug 2021 17:02:10 +0900

Google Tensor debuts on the new Pixel 6 this fall

Google Tensor is our first custom-built SoC specifically for Pixel phones, and it will power the Pixel 6 and Pixel 6 Pro later this fall.

blog.google

구글이 Pixel 6, Pixel 6 Pro에 적용하기 위한 SoC(System on Chip) "Google Tensor"를 공개 했습니다. 공식 싸이트와 트위터 계정을 통해 공개된 정보는 아직 많지는 않은데, 음성인식과 카메라 시스템에 완전히 새로운 사용자 경험을 제공하고 아래 기능들에 있어서도 큰 도약이 있을거라고 합니다.

Voice commands
Translation
Captioning
Dictation

기존에 공개된 루머에 따르면 Google Tensor SoC의 대략적인 사양은 아래와 같습니다.

코드네임: Whitechapel (GS101)
CPU : 2xCortex-A78 + 2xCortex-A76 + 4x Cortex-A55 + NPU
GPU : ARM 발할(Valhall) 아키텍처 기반 (Mali-G77 또는 Mali-G78 또는 Mali-G68)

CPU 구성상으로는 가장 최근의 Exynos 2100 및 Snapdragon 888의 3 클러스터 디자인의 플래그쉽은 구성은 아니지만, Pixel 5에 적용된 Snapdragon 765와 비슷하게 중상위급 성능과 함께 자체 NPU 통합을 통해 AI 관련 연산 성능을 최대한으로 끌어 올린것으로 예상됩니다.

기존에도 Pixel 2의 Pixel Neural Core, Pixel 4의 Pixel Neural Core와 같은 별도의 CoProcessor를 통해 이미지 프로세싱/AI 성능을 가속해 왔지만 CPU와 통합된 형태가 아니기 때문에 Memory Bandwidth와 같은 병목 현상으로 인해 그 성능을 100% 활용하는데는 제약이 많았을것으로 예상되는데요. 그런 문제를 해소함과 동시에 Google에서 개발하는 AI 모델에 최적화된 NPU를 적용함으로서 Pixel 시리즈가 단순한 Android Reference 폰이 아니라 구글만의 차별화된 기능을 제공하는 플랫폼으로서 자리매김하기 위한 선택이라고 생각됩니다.

Android NNAPI를 이용해 일반 앱 개발자들도 AI 성능을 활용해서 앱을 만들수 있을것으로 기대 되는데, AI 성능이 얼마나 나올지 기대가 됩니다.

Sundar Pichai on Twitter

“So excited to share our new custom Google Tensor chip, which has been 4 yrs in the making ( for scale)! Tensor builds off of our 2 decades of computing experience and it’s our biggest innovation in Pixel to date. Will be on Pixel 6 + Pixel 6 Pro i

twitter.com

Made By Google on Twitter

“Switching ⚙️ a bit. Let’s talk speech. Speech recognition is another foundational technology where you will see a huge improvement in #Pixel6. Google Tensor allows us to make big leaps in: Voice commands Translation Captioning & Dictation (10/13)

twitter.com

Here’s everything we know about the Whitechapel GS101 chip used in the Pixel 6

Here’s everything we know about the Google-made GS101 chip, codenamed Whitechapel, set to be used in the Google Pixel 6.

9to5google.com

LG V30 G7 V35 V40 G8 V50 스펙 비교

뽕다르 — Sat, 11 May 2019 18:18:53 +0900

V30 G7 V35 V40 G8 V50 스펙 비교

V50 출시 후 G5 보조금 경쟁에 불이 붙으면서 V50에 대한 관심이 많아 지고 있어, LG G시리즈와 V시리즈의 스펙들을 한번 비교해 봤습니다. 기본적으로 LG의 프리미엄폰은 G와 V시리즈로 나누어 지는데, 스펙으로 보면 사실상 프리미엄 한 라인으로 봐도 무방합니다.

LG 폰들을 출시순으로 봤을때 크게 V30/V30+와 G7/V35와 V40/G8/V50 3개의 그룹으로 나눌수 있는데, 이렇게 나눈 이유는 바로 카메라 스펙입니다. V30부터 본격적으로 일반, 광각 카메라로 LG 프리미엄 폰의 기틀을 잡기 시작했다면, G7/V35에서는 스냅드래곤 845를 적용해 성능을 한단계 끌어 올리고, V40/G8/V50에서는 다시한번 카메라 성능을 한단계 더 끌어 올리고 스냅드래곤 855를 적용해 성능까지 끌어 올리면서 프리미엄 폰의 라인을 완성했다고 볼 수 있습니다.

그래서 LG V시리즈나 G시리즈폰을 구매시에는 어떤 카메라 스펙을 염두해 두고 있는지에 따라 선택을 할수 있는데, 저렴한 가격에 적당한 카메라 성능 괜찮은 퍼포먼스을 쓰고 싶다면 지금 시점에 가격이 많이 내려간 G7이나 v35를, 최신 카메라 성능을 쓰고 싶은데 최신폰은 가격이 부담된다면 V40을, 최신 카메라 성능에 아주 좋은 퍼포먼스를 원한다면 G8나 V50을 선택할수 있습니다.

지금 시점에선 LG 폰의 특성상 중고폰 가격이 많이 내려갔기 때문에 꼭 최신 폰을 써야 하는게 아니라면 V35나 V40, G7 정도면 가성비 면에서 최고이지 않을까 생각이 드네요.

구분		V30	V30+	G7	G7+	V35	V40	G8	V50 (5G)
출시		17.09.21	18.02.28	18.05.02		18.07.05	18.10.04	19.03.22	19.05.10
CPU		스냅드래곤 835		스냅드래곤 845				스냅드래곤 855
RAM		4GB			6GB
저장공간		64GB	128GB	64GB	128GB	64GB	128GB
디스플레이		6인치(2880x1440) OLED(537ppi)		6.1인치(3120x1440) LCD(564 ppi)		6인치(2880x1440) OLED(537ppi)	6.4인치(3120X1440) OLED(538ppi)	6.1인치(3120X1440) OLED(564ppi)	6.4인치(3120X1440) OLED(?ppi)
카메라	전	500만화소(F2.2, 90°)		800만화소(F1.9, 80°)			800만화소 일반각 (F1.9, 80°) + 500만화소 광각 (F2.2, 90°)	800만 화소 (F/1.7) TOF Z 카메라 (정맥인식 & 얼굴인식 지원)	800만화소 일반각 (F1.9, 80°) + 500만화소 광각 (F2.2, 90°)
	후	1600만화소 일반각(F1.6, 71°) + 1300만화소 광각(F1.9, 120°)		1600만화소 일반각(F1.6, 71°) + 1600만화소 광각(F1.9, 107°)			1200만화소 일반각 (F1.5, 78°) + 1600만화소 광각 (F1.9, 107°) + 1200만화소 망원 (F2.4, 45°)
배터리		3,300mAh		3,000mAh		3,300mAh		3,500mAh	4,000mAh

구글 I/O 2019 요약

뽕다르 — Thu, 9 May 2019 23:37:50 +0900

검색

웹에서 구글 검색 후 3D로 보고 카메라 AR로 보기 (근육 모델, 상어)
구글에서 신발 쇼핑 검색후 3D로 보고 카메라 AR로 보기

구글렌즈

메뉴판을 비추면 인기 메뉴를 하이라이트 해준다
메뉴를 누르면 관련 검색해준다
영수증 찍으면 더치페이 계산기 뜬다
요리 책을 비추면 요리 하는 방법이 AR로 보인다
표지판/안내판을 비추면 읽어주거나 번역해 화면에 보여준다

듀플렉스

듀플렉스 온더 웹 : 지도, 캘린더, 메일의 정보(일정, 장소, 지난 예약 정보등)를 참고해 자동으로 웹에서 예약(렌트카)을 해준다.

구글 어시스턴스

음성인식을 위해 필요한 딥러닝 네트워크를 100GB에서 0.5GB로 개선. 네트워크 연결 없이 모바일내에서 인식 가능. 빠른 인식(x10) 가능.
각종 앱 열기 : 캘린더, 계산기, 알람, 포토, 날씨, 트위터(특정계정열기), Lift(목적지까지 요청), 셀카
음성인식으로 문자에 답변, 사진 앱 열어서 특정 사진(동물사진) 문자로 전송 명령
음성인식으로 특정 정보 검색(비행기 스케쥴) 후 확인해서 음성으로 문자 회신 명령
음성인식으로 메일 보내기, 메일 쓰는 중간에 메일 제목 설정하기
개인 정보에 기반한 어시스턴스 (가족이 포함된 사진, 가족이 있는 지역의 날씨, 교통 상황 등)
드라이빙 모드 (네비게이션, 팟케스트, 음악), 네비게이션 중 음성인식 음악 재생, 통화 수락

개인정보 보호

개인정보 자동삭제 기잔을 정할수 있음
크롬, 유튜브, 지도 시크릿 모드 (Incognito mode)
새로운 2차 인증 : 안드로이드 시큐리티 키 (인증화면에서 화면세 표시되는 방향 터치)

접근성

Live Caption : 비디오, 파케스트, 촬영된 동영상등에 실시간 자막을 볼수 있다
Live Relay : 음성 통화시 상대방음성->텍스트, 텍스트->음성으로 변환해 챗팅하듯이 통화

Android Q (Android 10)

폴더블 UX 지원
Live Caption 지원 (디바이스 자체에서 지원)
Smart Reply : 문자 답변 추천
다크테마
프라이버시 셋팅 : 앱에서 위치 정보 접근시 알림. 접근 차단 기능.
포커스모드 : 특정 앱의 알림을 끄는 기능
Parental Controls : 부모자 자녀 폰 사용 제한. 앱리뷰, 앱별 사용 시간제한, 앱별 사용시간 확인, 취침시간 설정
구글 지도 스크릿 모드 : 구글 계정 연동 없이 장소 검색

Nest Hub Max

Nest Cam
카메라와 마이크를 끌수 있는 물리적 스위치
안면 인식 및 개인화된 서비스
구글 포토
손 제스춰 컨트롤 (음악 멈춤)
10인치 디스플레이
$229

픽셀3a

톱샷(Top Shot) : AI가 최적의 장명을 추천
나이트 사이트 : 야간에 선명하게 촬영
포트레이트 모드 : 아웃포커싱 효과
슈퍼 레즈 줌 : 디지털 줌시 화질 개선
AR 구글 맵 : 구글 지도에서 길찾기 시 카메라를 비추면 AR로 실제 길위에 안내 마크 표시

픽셀3a 사양

퀄컴 스냅드래곤 670 SDM670 Platform.
메모리 : 4 GB LPDDR4X SDRAM, 64 GB 내장 메모리
디스플레이 : 5.6인치 18.5:9 비율 2220 x 1080 OLED (441ppi)
카메라 : 전면 800만 화소, 후면 OIS 지원 1,220만 화소 위상차 검출 AF
내장형 Li-Ion 3000 mAh
안드로이드 9.0 (Pie)
70.1 x 151.3 x 8.2 mm, 147 g
USB 3.1 Gen1 Type-C x 1, 3.5 mm 이어폰 단자 x 1
$399

구글 카메라 Night Sight 원리

뽕다르 — Mon, 24 Dec 2018 00:43:27 +0900

왼쪽: iPhone XS, 오른쪽: Pixel 3 Night Sight (출처:구글 AI 블로그)

얼마전 구글이 픽셀폰을 대상으로 Night Sight 카메라 모드를 공개 했습니다. 기존에도 픽셀 카메라가 야간 촬영에서 뛰어난 성능으로 블라인드 테스트에서 좋은 평가를 많이 받았었는데, Night Sight라는 기능으로 또 한번 야간 촬영 품질을 끌어 올리면서 많은 호평을 받고 있습니다. 관련해서 Google AI Blog에 Night Sight 동작 방식에 대한 글이 올라와 정리 해봤습니다.

간단히 요약하면, 픽셀폰의 전/후면 카메라, 손의 흔들림, 모션 센서, 밝기 센서를 이용해 현재 상황에서의 최적의 셔터 스피드와 촬영 프레임수를 계산해 촬영을 하고, HDR 이미지 병합 알고리즘과 Super Res Zoom 알고리즘을 이용해 화질을 개선한 다음, 학습 기반의 자동 화이트 밸런스 알고리즘과 어두운 장면에서의 톤 맵핑 알고리즘을 이용해 사진을 보정해 야간에도 마법과 같은 결과를 만들어 낸다고 하네요.

원문

Google AI Blog : Night Sight: Seeing in the Dark on Pixel Phones

저 조명 촬영이 왜 어려운가?

- 샷노이즈 : 작은 렌즈, 센서로 인해 발생하는 렌즈에 들어오는 광자 수의 자연적 변화

- Read Noise : 각 픽셀에 가해지는 빛의 전자 전하를 숫자로 변환 할 때 발생하는 임의 오류

- SNR : 노이즈 대비 원하는 신호의 비율. 노출시간의 제곱근에 비례

- 긴 노출로 촬영하면 깨끗한 사진을 얻을 수 있다

- 휴대폰을 들고 오랫동안 움직이지 않는건 어렵다

- HDR+ : 사진 프레임을 순간적으로 여러장 캡쳐 후 소프트웨어 적으로 병합해 다이나믹레인지를 개선하는 기술

- 모든 시리즈의 Pixel에 적용됨

- 샷노이즈와 Read Noise를 개선함

- 짧은 노출을 사용해 사진을 여러장 찍고, 흔들린 사진은 병합에서 제외해 더 선명한 사진을 얻음

어둠의 척도

- 루멘(Lumen)

- 30,000 lux - 직사광선을 그대로 맞는 야외

- 10,000 lux - 맑은날 야외 그늘

- 1,000 lux - 흐린날 야외

- 300 lux - 전형적인 사무실 내 밝기

- 150 lux - 집에서의 책상의 밝기

- 50 lux - 레스토랑 평균

- 20 lux - 분위기 있는 레스토랑

- 10 lux - 서랍에서 양말을 짝을 맞춰 찾기 위한 최소한의 빛

- 3 lux - 가로등 빛

- 1 lux - 신문을 읽기 위한 최소한의 빛

- 0.6 lux - 보름달이 뜬 야외

- 0.3 lux - 바닥에서 물건을 찾을 수 없는 정도

- 0.1 lux - 손전등 없이는 걸을 수 없는 정도

- 보통 한장의 프레임을 찍은 스마트폰 카메라의 경우 30 lux부터 문제가 됨

- HDR 기능이 작동하는 경우 3 lux까지 잘 처리 할 수 있음

- Night Sight의 목표는 3lux ~ 0.3lux 에서도 멋진 사진을 찍은것

데이터 캡쳐

- 각 프레임 당 노출 시간을 늘리는 것은 SNR을 증가 시키고 이미지지를 더욱 선명하게 할 수 있지만 두가지 문제를 불러옴.

- 첫째, 픽셀폰에서는 기본 사진 촬영 모드에서는 제로 셔터 랙을 사용. 본질적으로 노출 시간을 제한함.

- 카메라 앱을 실행하면 이미지 프레임을 순환 버퍼에 계속 저장

- 셔터 버튼을 누르면 9~15 프레임의 사진을 HDR+ 혹은 Super Res Zoom 알고리즘으로 보냄

- 초당 15 프레임 이상을 유지할 수 있도록 노출을 최대 66ms로 제한함

- Night Sight에서는 더 긴 노출이 필요한 장면을 위해 Positive 셔터 랙을 사용

- 밝기가 어두운 상태에서는 노출 시간을 66ms 보다 더 길게 설정함

- 둘째, 손떨림과 피사체의 움직임에 의한 모션블러 현상

- Pixel2 및 3에 있는 OIS(광학 이미지 안정화)는 최대 1/8초 동안 손떨림을 줄여주지만 장시간 흔들림에는 효과가 없음

- OIS가 해결 할 수 없는 모션 블러를 해결하기 위해 Motion Metering 기술을 적용

- 옵티컬 플로우를 사용해 장면의 움직임을 측정 후 흐림을 최소화 하기 위한 노출 시간을 선택

- Pixel 3에서는 기본 모드. Pixel 1, 2에서는 Night Sight 모드일때만 동작

- Night Sight 모드에서 큰 움직임이 없는 경우 모든 픽셀 폰들은 프레임당 노출을 333ms(1/3s)까지 늘림

- 카메라가 안정화 된경우(벽이나 삼각대 이용) 노출을 최대 1초까지 늘림

- 한장의 사진 촬영에서 캡쳐 프레임 수의

- 삼각대에 있는 경우 6 프레임

- 손에 들고 있는 경우 15 프레임

- 픽셀폰의 전/후면 카메라, 손의 흔들림, 모션 센서, 밝기 센서에 따라 Night Sight에서의 촬영

- 움직임이 많은 경우 -> 1/15s(66ms)의 노출로 15프레임

- 삼각대 -> 1s의 노출로 6프레임

정렬 및 병합

- 이미징 노이즈를 줄이기 위해 여러 프레임을 평균화 하는 아이디어

- Night Sight에서도 실시간은 아니지만 풀 센서 해상도에서 동일한 아이디어를 사용

- Pixel 1, Pixel 2에서는 HDR 이미지 병합 알고리즘을 사용

- Pixel 3에서는 Super Res Zoom을 사용

- 야간 사진에서 HDR+보다 더 나은 결과를 보임

- 하지만 Pixel3와 같은 고성능의 프로세서가 필요함

또 다른 도전

- 저조도 에서 자동 화이트 밸런싱(AWB)의 실패

- 사람은 색채 불변성 [각주:1] (Color constancy) 능력이 뛰어남.

- 하지만 한 종류의 조명 아래에서 찍은 사진을 다른 조명 아래에서 볼 때 그 능력은 동작하지 않음

- 이 현상을 보정하기 위해 중성(흰색) 빛이 비추는 것처럼 보이도록 이미지의 색상을 이동함. 이를 AWB라고 함.

- 야간 이외의 AWB 알고리즘은 좋은 결과는 보이지만, 매우 흐리거나 색이 밝은 조명에서는 조명의 색을 결정하기 어려움.

- Pixel 3에서는 학습 기반의 AWB 알고리즘 사용

- 흰색 균형이 잘 잡힌 이미지와 균형이 잘 맞지 않는 이미지를 구분 할수 있도록 훈련

- 이미지 균형이 맞지 않으면 적절한 색상 조절 방법을 제안해 줌

- 픽셀 폰으로 다양한 장면의 사진을 찍어 색상이 보정된 모니터로 화이트 밸런스를 조정해 훈련 데이터로 사용

- 너무 어두운 장면에서의 톤 맵핑^[각주:2]

- 매우 희미한 조명에서 인간은 색을 잘 구별하지 못함.

- 어두운 곳에서는 서로 다른 파장의 빛을 구별 할 수 없는 막대 세포(rod cells)만 동작하기 때문.

- 예술가 들은 수세기 동안 그림을 밤과 같이 보이게 하는 방법을 알고 있었다

- 명암을 높이고 어둠으로 그 장면을 둘러 싸고 그림자가 검은색으로 보이게 한다

- 사람은 그림자에서 세부적인것을 볼수 없기 때문이다

- Night Sight 에서도 동일한 트릭을 사용

- 톤 맵핑에 시그모이드 (Sigmoid) 함수를 사용

- 일정 수준 이하의 밝기 부분을 아예 어둡게 표현함

색체 불변성이란 조명 및 관측 조건이 다르더라도 주관적으로는 물체의 색이 변화되어 보이지 않고 항상 동일한 색으로 색채를 지각하는 성질. [본문으로]
컴퓨터 그래픽스 렌더링 분야에서 말하는 톤 매핑이란, 하이 다이내믹 레인지의 컬러 값들을 컴퓨터 디스플레이 장치에 표현 가능한 Low 다이내믹 레인지로 매핑하는 기법을 말한다 [본문으로]

구글 듀플렉스(Duplex) 일부 픽셀 유저에게 제공, 실제 동작 영상

뽕다르 — Tue, 4 Dec 2018 01:50:29 +0900

지난 5월 구글 I/O 2018에서 공개 되어 많은 주목을 받았던 구글 듀플렉스(Duplex)의 베타 테스트가 '신뢰 할 수 있는 테스터 사용자'에서 '소그룹'으로 확장되어 일부 픽셀 유저에게 제공되기 시작했습니다.

뉴욕, 애틀랜타, 피닉스 및 샌프란시스코의 파일럿 도시를 선택해 듀플렉스를 사용할 수 있으며, 지난 I/O 2018 에서 보여준 데모 같은 미용실 예약은 아직 지원하지 않으며, 일부 식당 예약을 지원하는 것으로 보입니다. venturebeat에 따르면 Google이 명시적으로 파트너 관계를 맺은 비즈니스에 만 국한되지 않는다고 합니다. 아마도 테스트를 위한 파트너 레스토랑 이외의 식당에도 예약을 지원하기 시작한것으로 보입니다.

구글 어시스턴스를 통해 식당 예약 요청

실제 구글 어시스턴스를 통해 식당 예약을 위해 주고 받는 대화는 아래와 같습니다.

사용자 : Make a Restaurant Reservation

Google Assistant : Okay, I found some choices. Which place do you want?

사용자 : Cafe Istanbul.

Google Assistant : Sounds good. I'll call to make a reservation at Cafe Istanbul. For how many?

사용자 : Two people.

Google Assistant : Okay, for two people. For when?

사용자 : Friday.

Google Assistant : Okay, for what time?

사용자 : 7:00 p.m.

Google Assistant : Sounds good. For 7:00 p.m. on friday. Just in case that's not available, can I try between 7:00 p.m. and 8:00 p.m?

사용자 : Yes.

Google Assistant : Got it for 7:00 p.m. to 8:00 p.m. I have a phone number here ending in a 321. Can I use that to book the reservation?

사용자 : Yes.

Google Assistant : Okay, I'll book it under Kyle with the phone number ending in 321. Should I try to book?

사용자 : Yes.

Google Assistant : All right, I'll try calling them now then update you within the next 15 minutes. You can always ask me about your reservations to check the status.

구글 듀플렉스가 실제 식당에 전화에 예약

위 영상은 실제 식당에서 구글 듀플렉스로 부터의 예약을 받은 영상입니다. 구글에 따르면, 대다수의 구글 듀플렉스는 TTS를 통해 생성된 구글 어시스턴스 음성으로 예약이 진행되는데, 일부 예약의 경우 실제 사람이 수동으로 예약을 해준다고 합니다. 위 영상도 실제 사람이 예약 전화를 한 경우라고 하네요.

Caffe 직원 : Hello, caffe fru.

Google Duplex : Hi, I’m calling to make a reservation for a client. I’m calling from Google, so the call may be recorded. Can I book a table for tomorrow please?

Caffe 직원 : Yes, and what time would you like to reserve.

Google Duplex : I'm 7:00 p.m.

Caffe 직원 : Okay, perfect. How many people?

Google Duplex : It's for 2 people.

Caffe 직원 : Okay, two people tomorrow at 7:00 p.m. What's your name?

Google Duplex : @#$ Anna.

Caffe 직원 : Anna. Okay. thank you.

Google Duplex : Okay

Caffe 직원 : I'll see you tomorrow thank you.

Google Duplex : Thank you very much. Bye Bye.

Caffe 직원 : Bye Bye.

만약 Google 듀플렉스 예약 전화를 받고 싶지 않다면, Google 마이 비즈니스 계정의 설정을 통해 듀플렉스의 전화 예약을 거부 할수 있다고 하네요. 그리고 사용자가 예약 후 취소 하는 경우에는 해당 식당에 바로 알려주게 되는데, 부정 사용을 방지하기 위해 취소를 하루에 한건, 그리고 12~24시간 동안 다시 예약 할수 없으며, 연속해서 너무 많은 예약을 취소하면 일시적으로 Duplex 사용할 수 없다고 합니다.

영상을 보면 아직은 구글 어시스턴스를 통한 예약이 실제 전화를 걸어 예약하는것 보다 번거롭다는 느낌입니다. 현재는 예약에 필요한 정보를 하나하나 질문과 대답으로 정보를 채워 나가는데, 앞으로 장소, 시간, 인원을 한번에 말하면 알아서 분석해서 예약을 해준다거나, 현재 위치에서 레스토랑까지의 거리를 계산해 예약 시간을 자동을 설정해 주는식의 개선이 이루어진다면 실제 의미 있는 인공지능 비서로서의 유용함이 생기지 않을까 생각이 듭니다.

참고 : Google’s Duplex is rolling out to Pixel owners — here’s how it works (venturebeat.com)

MIT, 이온 추진 비행기 시험 성공

뽕다르 — Mon, 26 Nov 2018 00:28:56 +0900

MIT의 연구원들은 처음으로 움직이는 부분이 없는 비행기를 날리는데 성공했습니다. 이 엔진은 고출력 전극을 이용해 공기 입자를 이온화하고 가속해 '전기적 바람'을 일으키는 '이온 드라이브'에 의해 구동 됩니다. 이 비행기의 기체는 폭이 5m, 무게는 불과 2.45㎏이며, 500W의 리튬이온배터리를 탑재해 2만 볼트의 전압을 만들어 지상 2m 위에서 약 60m를 비행했다고 합니다.

원리는 간단한데, 앞쪽은 매우 얇은 전선에 +20,000v의 전기를 가하고, 뒷쪽의 일반적인 비행기 날개와 같은 모양의 날개에 -20,000v의 전기를 가하면 이온화된 질소가 전기장을 통해 뒷쪽으로 이동하는데, 이때 공기 분자와 충돌하게 되고, 이 공기 분자들의 이동이 바람을 일으켜 날게 된다고 합니다.

아직 상용화에는 많은 시간이 걸리겠지만, 충분히 실용적인 수준으로 기술이 개발되 드론에 적용된다면 시끄럽고 위험한 프로펠러가 없는 드론도 가능해지지 않을까 기대 됩니다.

네이처 논문 : https://www.nature.com/articles/s41586-018-0707-9

참고 기사 : Ion drive meets drone, as small plane flies with no moving parts

엑시노스 9820 공개, AI 전용 프로세스 NPU 탑제

뽕다르 — Thu, 15 Nov 2018 01:42:08 +0900

삼성전자에서 인공지능 연산 가속칩 NPU가 탑제된 엑시노스 9820을 발표 했습니다. 아직 NPU에 대한 스펙이 정확히 알려진것은 없지만 공식 홈페이지에 공개된 내용에 따르면 "프로세서가 AI 관련 기능을 이전 제품보다 7 배 빠르게 수행(Exynos 9820 및 Exynos 9810에서 내부적으로 테스트되었음)할 수 있으며, 사진 향상에서 고급 AR 기능에 이르기까지 NPU가 장착 된 Exynos 9820은 모바일 장치의 AI 기능을 확장" 한다고 설명 되었습니다. 또한 "Exynos 9820은 더 나은 사진 품질과 빠른 자동 초점을위한 고급 디자인을 통해 NPU의 AI 기능으로 더욱 강화 된 최고의 사진 촬영 경험을 제공" 하고 있다는 문구를 통해 내부적으로 사진 촬영 및 후 처리에 사용되고 있음을 확인할 수 있습니다.

소개된 내용을 바탕으로 추측해 보면 기본적으로 픽셀 폰에 탑제된 이미지 프로세싱용 머신러닝 프로세스인 Pixel Visual Core와 유사한 역할을 할것으로 보이는데, 실제 유저 어플리케이션에서도 NPU 기능을 활용할수 있을지는 미지수 입니다. Mail GPU의 경우 Mali-G72용 안드로이드 Neural Networks API를 위한 드라이버코드가 Github에 공개 되어 있어, 그 후속 버전인 Mali-G76 GPU를 통한 모바일에서의 AI 가속기능은 일반 어플리케이션에서도 활용가능하지 않을까 기대해 볼만합니다.

화웨이 기린 980, 퀄컴 스냅드래곤 855, 애플 A12 바이오닉

올해만 해도 NPU를 탑제한 프로세스 대한 소식이 계속 있어왔었는데 2019년엔 NPU 스펙의 시대가 되지 않을때 생각됩니다.

Waymo, 12 월 초 자율주행 차량 서비스 개시

뽕다르 — Wed, 14 Nov 2018 00:11:55 +0900

블룸버그 기사에 따르면 Waymo (구글의 모회사인 Alphabet의 자회사)가 12월 자율주행 차량 서비스를 게시할 예정이라고 합니다. 관련해서 11월 초 캘리포니아 주정부로부터 보조 운전자도 탑승하지 않는 자율 주행차 시험 운행을 처음으로 승인 받아 본격적인 테스트를 시작한다는 기사가 있었는데, 한달만에 실제 서비스를 시작하는것입니다. 웨이모는 이미 10월 공공도로 테스트에만 누적거리 1000만 마일(1609만km)을 달성해 경쟁사들을 압도 할만한 데이터를 보유하고 있습니다.

아직 Waymo의 공식적인 발표가 없었기 때문이 이 기사가 사실인지는 확인이 더 필요하겠지만, 서비스 초기에는 일부 지역에 지정된 스에 대해서만 보조 운전자가 탑승한채로 서비스가 제공되지 않을까 예상하고 있습니다. Waymo가 구글의 자회사인만큼 구글 광고와 연계해 탑승 비용도 점차 낮아지지 않을까하는 예상도 있습니다.

테슬라의 경우 자율 주행 장비를 갖춘 차량을 먼저 시장에 뿌리고, 점차적으로 소프트웨어 업그레이드를 통해 완전 자율 주행 차량으로 한발 한발 나아가고 있는데, Waymo의 경우 완성된 완전 자율 주행 차량을 한정된 지역에서 부터 점차 우버와 같은 택시 서비스를 제공하는 방향으로 나아가고 있습니다. 어느 방향이든, 완전 자율 주행 차량과 그것을 이용한 서비스를 보게 될 날이 얼마 남지 않았다는 사실은 명확한것 같습니다.

소스 : Waymo to Start First Driverless Car Service Next Month

iPhone XR, iPhone XS 긱벤치에서 동일한 성능 보여

뽕다르 — Tue, 6 Nov 2018 21:01:01 +0900

아이폰 XR, XS, XS Max는 기본적으로 동일한 A12 Bionic 칩을 적용하고 있기 때문에 동일한 성능이 나올것으로 예상하고 있었는데, 최신 긱벤치4 결과 이러한 예상이 사실로 확인 되었습니다.

긱벤치4 결과에 따르면 싱글코어, 멀티코어, 메탈(그래픽) 성능 3가지 측면에서 아이폰 XR, XS, XS Max는 거의 동일하게 성능이 나왔습니다. 이는 iPhone X 대비 싱글코어 13%, 멀티코어 9%, 메탈(그래픽) 38% 향상 되었으며, 아이폰 7 플러스 대비 싱글코어 38%, 멀티코어 90%, 메탈(그래픽) 67% 향상 된 수치입니다. 아이폰 7 플러스 사용자라면 게임에서의 성능향상을 기대해 볼수 있습니다.

주목할 점은 아이폰 XR이 아이폰 XS/아이폰 XS Max 보다 그래픽 성능이 더 뛰어난데 이는 아이폰 XR(326ppi) 대비 아이폰 XS, 아이폰 XS Max(458ppi)의 해상도가 더 높기 때문에 A12 Bionic의 GPU가 XS에서 85% 더 많은 픽셀을 렌더링하고 XS Max에서 125% 더 많은 픽셀을 렌더링해야하기 때문입니다.

출처 : https://9to5mac.com/2018/11/05/iphone-xr-benchmarks/

참고 : https://browser.geekbench.com/ios-benchmarks