Пример работы Cloud Video Intelligence API
Животное (97,76%)
Дикое животное (92,16%)
Тигр (90,11%)
Сухопутное животное (68,17%)
Бенгальский тигр (64,77%)
Усы (63,30%)
Зоопарк (58,16%)
Ревущие кошки (56,41%)
Кошка (44,12%)
Компания Google объявила о выпуске нового облачного сервиса Cloud Video Intelligence API (сейчас в стадии закрытого бета-тестирования). Это первое на рынке API для обработки видео с распознаванием объектов.
Cloud Video Intelligence API предназначен для обработки видеоконтента. Видеоролики становятся индексируемыми, с поиском по содержимому. Можно отследить все появления искомого объекта, продолжительность этих появлений, оценить их важность. Например, автоматически находить все сцены секса в многолетнем архиве с камер наблюдения. Поиск по видео становится таким же простым, как поиск по текстовым документам. Сами видеоролики в сервис можно загружать напрямую по мере надобности или интегрировав с Google Cloud Storage.
Системы глубинного обучения, нейросети и ИИ — это уже не игрушка для научных экспериментов, а реальная технология, которая всё чаще применяется в бизнесе. В таких областях как компьютерное зрение, распознавание речи, обработка естественного языка. Нейросети помогают предсказать, когда в сети произойдёт деградация (анализ твитов с геотегами), какой товар захочет купить покупатель. Слабый ИИ выявляет фродовые транзакции и осуществляет анализ медицинских изображений, помогая поставить диагноз.
Google является одним из лидером в научных разработках по изучению нейросетей, а сейчас это научное лидерство постепенно конвертируется в прибыль по мере того, как коммерческие компании начинают использовать системы ИИ в своей деятельности. С точки зрения ситуации на облачном рынке, эксперты говорят, что сервисы вроде распознавания объектов на фотографиях и видеороликах — это попытка Google подтянуться к двум лидерам: Amazon и Microsoft. То есть Google пытается использовать своё интеллектуальное превосходство над конкурентами, чтобы достать их.
Cloud Video Intelligence API распознаёт не только существительные (тигр, животное, собака, цветок), но и некоторые глаголы (бежать, плавать, летать) в содержимом видеороликов. Здесь используются алгоритмы машинного обучения Google, созданные с использованием TensorFlow и других фремйворков.
На странице с описанием есть два демо-примера, на которых показываются возможности системы. Кроме присвоения меток, как на первом скриншоте, она автоматически разбивает видеоролик на последовательность сцен — и показывает метки для каждой сцены. То есть система распознаёт изменение сцен.
Метаданные из видеоматериалов Cloud Video Intelligence API извлекаются простым в использованием REST API. На демо-странице опять же приводится пример такого запроса и ответа.
Запрос на аннотирование
https://videointelligence.googleapis.com/v1beta1/videos:annotate?key=YOUR_API_KEY_HEREТело запроса на аннотирование
{
"inputUri": "gs://cloudmleap/video/next/animals.mp4",
"features": [
"LABEL_DETECTION",
"SHOT_CHANGE_DETECTION"
]
}Ответ с аннотациями
{
"name": "europe-west1.8668160167827035855"
}Запрос операции
https://videointelligence.googleapis.com/v1/operations/europe-west1.8668160167827035855?key=YOUR_API_KEY_HEREОтвет
{
"name": "europe-west1.8668160167827035855",
"metadata": {
"@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoProgress",
"annotationProgress": [
{
"inputUri": "/cloudmleap/video/next/animals.mp4",
"progressPercent": 100,
"startTime": "2017-03-10T07:43:08.708173Z",
"updateTime": "2017-03-10T07:43:16.478607Z"
},
{
"inputUri": "/cloudmleap/video/next/animals.mp4",
"progressPercent": 100,
"startTime": "2017-03-10T07:43:08.708173Z",
"updateTime": "2017-03-10T07:43:17.493023Z"
}
]
},
"done": true,
"response": {
"@type": "type.googleapis.com/google.cloud.videointelligence.v1beta1.AnnotateVideoResponse",
"annotationResults": [
{
"inputUri": "/cloudmleap/video/next/animals.mp4",
"labelAnnotations": [
{
"description": "African elephant",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.89221686,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Android",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.7447677,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.41145295,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Animal",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.9850994,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "83458",
"endTimeOffset": "1584934"
},
"confidence": 0.8952162,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.9594428,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.9497467,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.91483617,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
"confidence": 0.9850994,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.97762877,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "30363608",
"endTimeOffset": "32282246"
},
"confidence": 0.7097968,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.9594428,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "33283230",
"endTimeOffset": "34492731"
},
"confidence": 0.9446105,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "34534460",
"endTimeOffset": "35160139"
},
"confidence": 0.8952162,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.9814149,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.9850994,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.92503697,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.9844126,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "41958638",
"endTimeOffset": "42959622"
},
"confidence": 0.9880168,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.9529697,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "45795786",
"endTimeOffset": "47630966"
},
"confidence": 0.96517783,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.8952162,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
"confidence": 0.9497467,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "55555508",
"endTimeOffset": "56765009"
},
"confidence": 0.9696604,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "56806738",
"endTimeOffset": "58057968"
},
"confidence": 0.9844126,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "61770057",
"endTimeOffset": "63188075"
},
"confidence": 0.52341515,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "65148442",
"endTimeOffset": "67108681"
},
"confidence": 0.96517783,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "81748392",
"endTimeOffset": "83124681"
},
"confidence": 0.9850994,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
"confidence": 0.9594428,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Animation",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "7382321",
"endTimeOffset": "9551205"
},
"confidence": 0.71536106,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.50700074,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Aquarium",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
"confidence": 0.66549724,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Beak",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "55555508",
"endTimeOffset": "56765009"
},
"confidence": 0.77501494,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Bengal tiger",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.64773124,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.8644828,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.59538835,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Bird",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "55555508",
"endTimeOffset": "56765009"
},
"confidence": 0.9931627,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Black",
"languageCode": "en-us",
"locations": [
{
"segment": {
"endTimeOffset": "41729"
},
"confidence": 0.70951056,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Body of water",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.8843631,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Branch",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "1626663",
"endTimeOffset": "3211597"
},
"confidence": 0.59518576,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.59518576,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Carnivores",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.4039546,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.52672577,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Cat",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.6540427,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
"confidence": 0.81855905,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.44117302,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.8062887,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.7889559,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Cattle",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "41958638",
"endTimeOffset": "42959622"
},
"confidence": 0.5799711,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Chipmunk",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.5361945,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.5034101,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Communication Device",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.9136269,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.5841158,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.9136269,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.9405665,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Consumer electronics",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.8531199,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.7966925,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.79614824,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.74901456,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Craft",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "21312895",
"endTimeOffset": "23189804"
},
"confidence": 0.7232958,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Display device",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.6566272,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.527363,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Dog",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
"confidence": 0.6979326,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Electronic device",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.8830752,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.4444712,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.4444712,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Elephant",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.9120662,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Elephants",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.9187563,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Facial expression",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "17225501",
"endTimeOffset": "19477843"
},
"confidence": 0.44210455,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Feature phone",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.6804405,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.6868115,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.70522815,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Fish",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
"confidence": 0.67274684,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "65148442",
"endTimeOffset": "67108681"
},
"confidence": 0.45693684,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Flora",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.6021202,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Fur",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
"confidence": 0.62052464,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.5825671,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
"confidence": 0.83816683,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Gadget",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.87584877,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "69360895",
"endTimeOffset": "71946813"
},
"confidence": 0.40696934,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.80872256,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.9088438,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.87584877,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Giraffe",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "83458",
"endTimeOffset": "1584934"
},
"confidence": 0.7888411,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.9983481,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Giraffidae",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.8244073,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Graphic design",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "92801073",
"endTimeOffset": "93218107"
},
"confidence": 0.41958028,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "93259836",
"endTimeOffset": "98056239"
},
"confidence": 0.41958028,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Graphics",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "84667886",
"endTimeOffset": "92759344"
},
"confidence": 0.42916313,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "92801073",
"endTimeOffset": "93218107"
},
"confidence": 0.6215783,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "93259836",
"endTimeOffset": "98056239"
},
"confidence": 0.6030297,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "House",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "19519444",
"endTimeOffset": "21271294"
},
"confidence": 0.41790316,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Indian elephant",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.7122813,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Jungle",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.41892967,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Leaf",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "1626663",
"endTimeOffset": "3211597"
},
"confidence": 0.6517387,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.9094892,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Logo",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "84667886",
"endTimeOffset": "92759344"
},
"confidence": 0.5190213,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "92801073",
"endTimeOffset": "93218107"
},
"confidence": 0.53628016,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "93259836",
"endTimeOffset": "98056239"
},
"confidence": 0.60437465,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Mascot",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.52543926,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.44586235,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Mobile device",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.9754991,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.85469896,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.9667602,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.9533528,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Mobile phone",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.9769415,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "69360895",
"endTimeOffset": "71946813"
},
"confidence": 0.48726135,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.8672257,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.96640646,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.97986317,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Multimedia",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.44397694,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.41997322,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.45259473,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Nature",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.50565904,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "1626663",
"endTimeOffset": "3211597"
},
"confidence": 0.4795686,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.87490076,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "15348720",
"endTimeOffset": "17183772"
},
"confidence": 0.54313797,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "19519444",
"endTimeOffset": "21271294"
},
"confidence": 0.94635874,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.7222316,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "30363608",
"endTimeOffset": "32282246"
},
"confidence": 0.57741284,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.474022,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.474022,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.9293757,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.9293757,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Nature reserve",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.44622806,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.48912042,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Palm trees",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "15348720",
"endTimeOffset": "17183772"
},
"confidence": 0.80078065,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Pet",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "55555508",
"endTimeOffset": "56765009"
},
"confidence": 0.41684255,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "56806738",
"endTimeOffset": "58057968"
},
"confidence": 0.41684255,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
"confidence": 0.5270497,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Plant",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.72045994,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "19519444",
"endTimeOffset": "21271294"
},
"confidence": 0.4347451,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.41064587,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Plant stem",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
"confidence": 0.8578779,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Plush",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.74255526,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.53740776,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Portable communications device",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.8782257,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.77704453,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.8725347,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.8802977,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Rabbit",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.79631186,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Rapids",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.6308835,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "River",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.6829149,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Roaring cats",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.564093,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.6252642,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.537465,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Samsung",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.45737183,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Saw",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "21312895",
"endTimeOffset": "23189804"
},
"confidence": 0.49702922,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Smartphone",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.97850716,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "69360895",
"endTimeOffset": "71946813"
},
"confidence": 0.41317958,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.83762443,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.9778874,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.9857585,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Smile",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "17225501",
"endTimeOffset": "19477843"
},
"confidence": 0.6786328,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "71988542",
"endTimeOffset": "73490146"
},
"confidence": 0.4861825,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Snout",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
"confidence": 0.78420043,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Song",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.4209878,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Stream",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.8769414,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Stuffed toy",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.7915379,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
"confidence": 0.40931365,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Telephone",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
"confidence": 0.85756797,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
"confidence": 0.42652282,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
"confidence": 0.90821534,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.85756797,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Terrestrial animal",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.536368,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.6816744,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.6125775,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.7665409,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.60995924,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.5185323,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Text",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "84667886",
"endTimeOffset": "92759344"
},
"confidence": 0.696517,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "92801073",
"endTimeOffset": "93218107"
},
"confidence": 0.4823912,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "93259836",
"endTimeOffset": "98056239"
},
"confidence": 0.4200642,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Text messaging",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
"confidence": 0.49540573,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Tiger",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.90107197,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.68852603,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "33283230",
"endTimeOffset": "34492731"
},
"confidence": 0.5181764,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "34534460",
"endTimeOffset": "35160139"
},
"confidence": 0.95753914,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.9620449,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.90134215,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Tourism",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.4736032,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.7137501,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "30363608",
"endTimeOffset": "32282246"
},
"confidence": 0.4133858,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.6857583,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.59528834,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.6857583,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
"confidence": 0.4736032,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Tourist destination",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.4342352,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.77993846,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.6600144,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.7183539,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.71695065,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Toy",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
"confidence": 0.57369184,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Tree",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "1626663",
"endTimeOffset": "3211597"
},
"confidence": 0.5587302,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "19519444",
"endTimeOffset": "21271294"
},
"confidence": 0.8711515,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.8734739,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Underwater",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
"confidence": 0.45049176,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "65148442",
"endTimeOffset": "67108681"
},
"confidence": 0.90563846,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "81748392",
"endTimeOffset": "83124681"
},
"confidence": 0.45049176,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Vegetation",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.45803612,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Water feature",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.9122097,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Water resources",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.61155117,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Watercourse",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.55837154,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Waterfall",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.92332006,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Whiskers",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
"confidence": 0.70904154,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.633004,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
"confidence": 0.6301133,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "34534460",
"endTimeOffset": "35160139"
},
"confidence": 0.5065674,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.5323837,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Wildlife",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.94118625,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.9175038,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
"confidence": 0.6023959,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.92160356,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "33283230",
"endTimeOffset": "34492731"
},
"confidence": 0.9175038,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "34534460",
"endTimeOffset": "35160139"
},
"confidence": 0.7541614,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.94118625,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.82810974,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.82810974,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.8351515,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.45038256,
"level": "SHOT_LEVEL"
}
]
},
{
"description": "Zoo",
"languageCode": "en-us",
"locations": [
{
"segment": {
"startTimeOffset": "-1",
"endTimeOffset": "-1"
},
"confidence": 0.9060432,
"level": "VIDEO_LEVEL"
},
{
"segment": {
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
"confidence": 0.8143075,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
"confidence": 0.58159506,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "33283230",
"endTimeOffset": "34492731"
},
"confidence": 0.5717353,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
"confidence": 0.920275,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
"confidence": 0.6610618,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
"confidence": 0.74015945,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
"confidence": 0.75921035,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
"confidence": 0.9589248,
"level": "SHOT_LEVEL"
},
{
"segment": {
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
"confidence": 0.9589248,
"level": "SHOT_LEVEL"
}
]
}
],
"shotAnnotations": [
{
"endTimeOffset": "41729"
},
{
"startTimeOffset": "83458",
"endTimeOffset": "1584934"
},
{
"startTimeOffset": "1626663",
"endTimeOffset": "3211597"
},
{
"startTimeOffset": "3253198",
"endTimeOffset": "5296895"
},
{
"startTimeOffset": "5338624",
"endTimeOffset": "7340720"
},
{
"startTimeOffset": "7382321",
"endTimeOffset": "9551205"
},
{
"startTimeOffset": "9592934",
"endTimeOffset": "13596870"
},
{
"startTimeOffset": "13638599",
"endTimeOffset": "15306991"
},
{
"startTimeOffset": "15348720",
"endTimeOffset": "17183772"
},
{
"startTimeOffset": "17225501",
"endTimeOffset": "19477843"
},
{
"startTimeOffset": "19519444",
"endTimeOffset": "21271294"
},
{
"startTimeOffset": "21312895",
"endTimeOffset": "23189804"
},
{
"startTimeOffset": "23231533",
"endTimeOffset": "26818435"
},
{
"startTimeOffset": "26860164",
"endTimeOffset": "28695344"
},
{
"startTimeOffset": "28737073",
"endTimeOffset": "30322007"
},
{
"startTimeOffset": "30363608",
"endTimeOffset": "32282246"
},
{
"startTimeOffset": "32323975",
"endTimeOffset": "33241501"
},
{
"startTimeOffset": "33283230",
"endTimeOffset": "34492731"
},
{
"startTimeOffset": "34534460",
"endTimeOffset": "35160139"
},
{
"startTimeOffset": "35201868",
"endTimeOffset": "37537540"
},
{
"startTimeOffset": "37579269",
"endTimeOffset": "38830499"
},
{
"startTimeOffset": "38872228",
"endTimeOffset": "39873212"
},
{
"startTimeOffset": "39914813",
"endTimeOffset": "41916909"
},
{
"startTimeOffset": "41958638",
"endTimeOffset": "42959622"
},
{
"startTimeOffset": "43001351",
"endTimeOffset": "44544556"
},
{
"startTimeOffset": "44586157",
"endTimeOffset": "45754057"
},
{
"startTimeOffset": "45795786",
"endTimeOffset": "47630966"
},
{
"startTimeOffset": "47672567",
"endTimeOffset": "52343911"
},
{
"startTimeOffset": "52385640",
"endTimeOffset": "55513779"
},
{
"startTimeOffset": "55555508",
"endTimeOffset": "56765009"
},
{
"startTimeOffset": "56806738",
"endTimeOffset": "58057968"
},
{
"startTimeOffset": "58099697",
"endTimeOffset": "59392656"
},
{
"startTimeOffset": "59434385",
"endTimeOffset": "61728328"
},
{
"startTimeOffset": "61770057",
"endTimeOffset": "63188075"
},
{
"startTimeOffset": "63229804",
"endTimeOffset": "65106713"
},
{
"startTimeOffset": "65148442",
"endTimeOffset": "67108681"
},
{
"startTimeOffset": "67150410",
"endTimeOffset": "69319294"
},
{
"startTimeOffset": "69360895",
"endTimeOffset": "71946813"
},
{
"startTimeOffset": "71988542",
"endTimeOffset": "73490146"
},
{
"startTimeOffset": "73531747",
"endTimeOffset": "75909148"
},
{
"startTimeOffset": "75950877",
"endTimeOffset": "78036303"
},
{
"startTimeOffset": "78078032",
"endTimeOffset": "81706663"
},
{
"startTimeOffset": "81748392",
"endTimeOffset": "83124681"
},
{
"startTimeOffset": "83166410",
"endTimeOffset": "84209123"
},
{
"startTimeOffset": "84250852",
"endTimeOffset": "84626157"
},
{
"startTimeOffset": "84667886",
"endTimeOffset": "92759344"
},
{
"startTimeOffset": "92801073",
"endTimeOffset": "93218107"
},
{
"startTimeOffset": "93259836",
"endTimeOffset": "98056239"
}
]
}
]
}
}Использование Cloud Video Intelligence API — удобный способ извлекать содержимое видеороликов без использования собственных систем машинного обучения или компьютерного зрения.
Сейчас платформа Google поддерживает выбор региона, где будет происходить обработка видеоматериала (для соответствия нормативным требованиям).
Google обещает улучшать сервис, добавляя новую функциональность в Cloud Video Intelligence API на протяжении периода бета-тестирования. В самом деле, сейчас некоторых функций явно не хватает. Например, система не поддерживает распознавание лиц. Представьте с точки зрения отдела безопасности, как удобно было бы простым запросом к API определить встречались ли сотрудники А и Б между собой на территории офиса и рядом с ним за последний год. Как часто встречались и как увеличивалась среднее медианное продолжительности их разговоров за временной период.
Можно представить, что API распознавания объектов на видео начнут использовать в сельском хозяйстве, где сейчас почти всё автоматизировано, кроме некоторых работ по сбору урожая и других. С помощью API роботы смогут эффективно собирать фрукты, овощи и ягоды. Следовательно, компьютерная система позволит избавиться от остатков рабочей силы, которую сейчас приходится привлекать для сбора урожая, посевных работ. В перспективе такие API позволят освободить от работы миллионы инспекторов качества на производственных линиях, погрузчиков на складах, мойщиков окон, сортировщиков товаров, охранников и других низкоквалифицированных работников — продвинутое машинное зрение позволит отдохнуть работникам сотен разных специальностей.
С последним обновлением Google ещё больше расширяет платформу Cloud Machine Learning, которая теперь включает в себя сервисы Vision, Video Intelligence, Speech, Natural Language, Translation и Jobs. Все эти интерфейсы в совокупности позволяют современным компаниям использовать возможности нейросетей в своей работе.
Кроме Cloud Video Intelligence API компания Google сделала ещё несколько анонсов в области машинного зрения, в том числе обновила Cloud Vision API до версии 1.1 (beta). Это популярные интерфейсы для распознавания объектов на изображениях. С момента запуска в апреле 2016 года платформа уже обработала более 1 миллиарда изображений. В новой версии Google добавила возможность продвинутого распознавания символов, способного распознавать текст на сканах документов с большим количеством текста — контрактов, книг, научных работ.
Распознавание объектов на фото — удобная фича. Например, риелторские сайты с помощью этих API доставляют пользователям информацию о недвижимости по её фотографии (человек наводит смартфон на коттедж — и получает информацию о его стоимости, метраже, количестве спален).
Поделиться с друзьями
Комментарии (23)
Aquahawk
10.03.2017 12:45Не нашёл как загрузить туда свое демо, было бы интересно такой тест провести Внезапный диван леопардовой расцветки
Zuzysh
10.03.2017 13:17Cloud Video Intelligence API распознаёт не только существительные (тигр, животное, собака, цветок), но и некоторые глаголы (бежать, плавать, летать) в содержимом видеороликов. Здесь используются алгоритмы машинного обучения Google, созданные с использованием TensorFlow и других фремйворков
Если CVI API уже может распознавать действия (глаголы), то в не далёком будущем и распознавание состояния (прилагательных: красный, зелёный и т.п… А это, как мне видится, увеличит достоверность распознавания.
Markscheider
10.03.2017 14:20+2Знаете, для кого это особенно прекрасно? Для телеканалов.
Допустим, дают задание монтажеру — подобрать фрагмент видео 15 с., которым надо иллюстрировать видеосюжет про молодежь и сотовую связь. Если монтажер обладает памятью индийского слона — он лезет в нужный каталог с видео и находит нужный ролик, в котором, как он помнит, на 1:34:21 есть кадры с молодежью и мобильниками. А если монтажер молодой и неопытный — он начинает паниковать.
Попытки каталогизировать видео обычно проваливаются. Это не фото, которое можно описать тегами, на видео каждую секунду меняются предметы в кадре. Не будешь же писать каталог в стиле «секунда 45: бабушки, кошки, ковер на стене, секунда 48: тинейджеры курят траву в подворотне...». Так что описанная в статье технология здорово облегчит жизнь монтажерам. Это мое такое ИМХО, если есть сотрудники с ТВ-каналов — пусть подтвердят или опровергнут…earl911
13.03.2017 19:47«Здорово облегчит жизнь» мягко сказано, с таким темпом монтировать тоже не надо будет, раздробят все на кусочки и собирать будут по запросам.
freeOne
10.03.2017 15:14+1Непонятно, почему показатели отсортированы в таком порядке.
Как может быть, что вероятность того, что на картинке «Кошка» (44,12%) меньше, чем «Ревущие кошки» (56,41%) итд.
Чудны твои дела, машинное обучение
kamagan
10.03.2017 15:38+2Вот что странно, оно на 90% уверено что это тигр и лишь на 68% что это сухопутное животное. Или я что-то не знаю о водоплавающих тиграх или как так то?
AmirL
10.03.2017 19:08скорее всего суммируется другие определения. 68% сухопутное животное, 40% кошка, 60% усы и становится очевидно, что это вряд ли может быть к примеру лягушкой :).
HappyLynx
10.03.2017 23:44+2Как раз наоборот. Просто для вас «тигр», это «кошка», «сухопутное животное» и у него есть «усы». Это умозаключение — есть продукт не только вашего опыта, но и возможности устанавливать логические взаимосвязи между абстракциями, как то: «тигр это животное, он в основном ходит по земле, поэтому он сухопутное». Вы только представьте себе, какое количество абстракций иерархически вовлечено в данное умозаключение: «в основном», «ходить», «земля», для описания которых вам придется привлечь еще абстракции и взаимосвязи между ними, а потом еще и еще.
У нейронных сетей в современном их состоянии нет недостатка в опыте, а вот в установлении логических взаимосвязей между абстракциями у них проблемы. Для нейросети вполне очевидно, что вот это цветастое пятно очень похоже на три тысячи цветастых пятен, что она видела ранее, и которые были подписаны «тигр», а так же оно похоже, но в меньшей степени, на сто тысяч цветастых пятен, что были подбисаны «сухопутное животное». Но у нее отсутствует понимание их взаимосвязи на логическом уровне.
Что характерно, абсолютно противоположная ситуация наблюдается в экспертных системах, там логика на высоте, но вот процесс сведения факта к абстракции — проблема.
И задача подружить этих ежа и ужа оказалась очень и очень нетривиальной проблемой.
native1989
11.03.2017 14:26Это кажется странным, но на самом деле логика в этом есть: как раз из-за этих шансов что это кошка и сухопутное животное увеличивается шанс что это тигр
Vjatcheslav3345
10.03.2017 16:04+1У водоплавающих часто на фото бывают световые полосы по телу от водной ряби а тигр на фото — тоже полосат+гамма похожа на окраску рифовых рыб.
rPman
11.03.2017 09:33меня интересует только один вопрос, offline версия возможна?
и в догонку, хотя бы приблизительные ценыntfs1984
11.03.2017 10:35-1Возможна. На самом деле алгоритм прост, и школота его реализует даже на пацкале.
Проблема только в перцептивной логике и наполнении контентом. Ну и в датацентре для этого дела :)
Qubc
11.03.2017 13:23где можно простыми словами почитать про нейросети и как это выглядит в виде кода? наглядно, то есть.
xeonz
11.03.2017 14:25В перспективе такие API позволят освободить от работы миллионы инспекторов качества на производственных линиях, погрузчиков на складах, мойщиков окон, сортировщиков товаров, охранников и других низкоквалифицированных работников — продвинутое машинное зрение позволит отдохнуть работникам сотен разных специальностей.
В перспективе оно оставит их всех безработчными.
Vjatcheslav3345
Интересно получается — сейчас правообладатели могут отслеживать прямое использование контента, а теперь будут искать, чтобы вчинить иск — всё, вплоть до «имитаций» оригинала?