一种镜头脏污检测的方法和电子设备与流程

    专利查询2022-07-07  170



    1.本技术涉及终端领域,并且更具体地,涉及一种镜头脏污检测的方法和电子设备。


    背景技术:

    2.电子设备多配备镜头,具备拍照功能,但由于其使用场景复杂,镜头通常都是裸露的,随时可能与外部物体发生接触,有很大概率与外部物体发生触碰摩擦,导致镜头脏污,从而影响拍摄效果。
    3.当前,镜头脏污检测技术大多是通过对电子设备获取的图像特征进行对比分析,判断镜头是否脏污。而基于图像特征的分析方法判断镜头是否脏污存在一定的误差,可能无法准确识别出异常图像信息,无法准确识别镜头是否脏污,影响拍摄效果。


    技术实现要素:

    4.本技术实施例提供一种镜头脏污检测的方法和电子设备,能够提高镜头脏污识别的成功率,从而减小对拍摄效果的影响。
    5.第一方面,提供了一种镜头脏污检测的方法,该方法应用于电子设备,该电子设备包括镜头,该方法包括:确定该镜头与障碍物之间的第一距离;若该第一距离小于或等于预设距离,提示用户该镜头被污染。
    6.应理解,该障碍物为镜头前的障碍物,该镜头前可以理解为镜头获取图像的方向。
    7.在本技术实施例中,电子设备能够根据镜头与障碍物之间的第一距离判断镜头脏污情况,根据镜头脏污情况对用户进行提示,以便于用户根据该提示进行相应的处理,从而减小对拍摄效果的影响。
    8.结合第一方面,在第一方面的某些实现方式中,若该第一距离小于或等于预设距离,提示用户该镜头被污染,包括:若该第一距离小于或等于预设距离的时长大于等于预设时长,提示该用户该镜头被污染。
    9.在本技术实施例中,在电子设备检测出镜头与障碍物之间的第一距离小于或等于预设距离的时长在预设时间内情况下,提示用户镜头被污染,能够进一步提高镜头脏污识别的成功率,从而减小对拍摄效果的影响。
    10.结合第一方面,在第一方面的某些实现方式中,该镜头为前置镜头,提示用户该镜头被污染之前,该方法还包括:检测到该用户使用听筒进行音频通话的第一操作。
    11.应理解,若检测到用户使用听筒的行为,说明电子设备的镜头受到污染的概率较大,结合镜头与障碍物之间的第一距离可以准确判断镜头是否被污染。其中,用户使用听筒的行为包括但不限于以下内容:用户使用听筒接听电话或者拨打电话、用户使用听筒播放语音消息等。
    12.在本技术实施例中,电子设备可以根据镜头与障碍物之间的第一距离,结合用户行为(例如,使用听筒进行音频通话)进一步判断镜头发生脏污风险的概率,能够进一步提高镜头脏污识别的成功率,从而减小对拍摄效果的影响。
    13.结合第一方面,在第一方面的某些实现方式中,检测到用户使用听筒进行音频通话的第一操作,包括:在确定该镜头与该障碍物之间的该第一距离之前的第一时间段内,检测到该第一操作。
    14.在本技术实施例中,当确定镜头与障碍物之间的第一距离之前的第一时间段内,检测到用户使用听筒进行音频电话的第一操作时,提示用户镜头被污染,能够更加准确识别出镜头脏污情况,从而减小对拍摄效果的影响。
    15.结合第一方面,在第一方面的某些实现方式中,提示用户该镜头被污染之前,该方法还包括:检测到用户启动相机应用的第二操作。
    16.应理解,启动相机应用的第二操作可以是用户通过点击相应的图标启动相机应用,也可以是通过相机快捷键的方式启动相机应用,还可以通过其他方式启动相机应用,本技术对此不作限定。
    17.在本技术实施例中,电子设备可以在检测到用户启动相机应用后再提示镜头脏污的提示信息,避免对用户进行频繁的提示,影响用户体验。
    18.在一些可能的实现方式中,电子设备可以在拍摄界面输出镜头被污染的提示信息提示用户进行镜头清洁,该提示信息的提示方式可以是通过文字、图像或者语音等方式,本技术在此不作限定。
    19.在一些可能的实现方式中,该提示信息还可以设置有关闭选项,响应于检测到用户对提示信息的关闭选项的操作,可以在拍摄界面中停止显示该提示信息。此外,该提示信息可以设置有透明度,从而避免对拍摄画面造成遮盖,避免影响用户的拍摄体验。
    20.在一些可能的实现方式中,当该提示信息的显示时长达到预设时间范围后,可以在电子设备的拍摄界面中停止显示该提示信息,从而避免对拍摄画面造成长时间的遮盖,避免影响用户拍摄体验。
    21.结合第一方面,在第一方面的某些实现方式中,确定该镜头与障碍物之间的第一距离,包括:在检测到用户启动相机应用的第二操作之前,确定该镜头与该障碍物之间的该第一距离。
    22.在本技术实施例中,电子设备确定镜头与障碍物之间的第一距离小于之后,再检测用户启动相机应用的第二操作,当第一距离小于或等于预设距离或者预设距离的时长大于等于预设时长时,提示用户镜头被污染的提示信息,从而避免对用户进行频繁的提示,影响用户拍摄体验。
    23.结合第一方面,在第一方面的某些实现方式中,该电子设备包括激光测距模块,确定该镜头与障碍物之间的第一距离,包括:通过该激光测距模块确定该第一距离。
    24.在本技术实施例中,通过激光测距模块测量镜头与障碍物之间的第一距离,能够较为准确的获得镜头与障碍物之间的距离信息,从而电子设备能够根据该第一距离更加准确识别出镜头脏污情况。
    25.第二方面,提供了一种电子设备,包括:镜头;一个或多个处理器;一个或多个存储器;该一个或多个存储器存储有一个或多个计算机程序,该一个或多个计算机程序包括指令,当该指令被该一个或多个处理器执行时,使得该电子设备执行上述第一方面中任一项可能的实现中的方法。
    26.在一些可能的实现方式中,该电子设备还可以包括激光测距模块。
    27.第三方面,提供了一种装置,该装置包括:确定单元,用于确定该镜头与障碍物之间的第一距离;提示单元,若该第一距离小于或等于预设距离,提示用户该镜头被污染。
    28.结合第三方面,在第三方面的某些实现方式中,该提示单元还用于:若该第一距离小于或等于预设距离的时长大于或等于预设时长,提示用户该镜头被污染。
    29.结合第三方面,在第三方面的某些实现方式中,该装置还包括:检测单元,该检测单元用于,在提示用户该镜头被污染之前,检测到用户使用听筒进行音频通话的第一操作。
    30.结合第三方面,在第三方面的某些实现方式中,该检测单元还用于:在确定该镜头与该障碍物之间的该第一距离之前的第一时间段内,检测到该第一操作。
    31.结合第三方面,在第三方面的某些实现方式中,该检测单元还用于:在提示用户该镜头被污染之前,检测到用户启动相机应用的第二操作。
    32.结合第三方面,在第三方面的某些实现方式中,该确定单元还用于:在检测到用户启动相机应用的第二操作之前,确定该镜头与该障碍物之间的该第一距离。
    33.结合第三方面,在第三方面的某些实现方式中,通过激光测距模块确定该第一距离。
    34.第四方面,提供了一种包含指令的计算机程序产品,当所述计算机程序产品在电子设备上运行时,使得所述电子设备执行上述第一方面该的方法。
    35.第五方面,提供了一种计算机可读存储介质,所述存储介质可以是非易失性的。所述存储介质包括指令,当所述指令在电子设备上运行时,使得所述电子设备执行上述第一方面所述的方法。
    36.第六方面,提供了一种芯片用于执行指令,当所述芯片运行时,所述芯片执行上述第一方面所述的方法。
    37.可以理解的是,上述提供的任一种装置、芯片、计算机可读存储介质或计算机程序产品等均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考对应的方法中的有益效果,此处不再赘述。
    附图说明
    38.图1是本技术实施例提供的一种电子设备的硬件结构示意图。
    39.图2是本技术实施例提供的一种电子设备的软件结构示意图。
    40.图3是本技术实施例提供的一种镜头脏污检测的方法示意性流程图。
    41.图4是本技术实施例提供的一种系统架构示意图。
    42.图5是本技术实施例提供的另一种镜头脏污检测的方法示意性流程图。
    43.图6是本技术实施例提供的一种电子设备的示意图。
    44.图7是本技术实施例提供的一种电子设备测量距离的示意图。
    45.图8是本技术实施例提供的另一种系统架构示意图。
    46.图9是本技术实施例提供的另一种镜头脏污检测的方法示意性流程图。
    47.图10是本技术实施例提供的另一种系统架构示意图。
    48.图11是本技术实施例提供的另一种镜头脏污检测的方法示意性流程图。
    49.图12是本技术实施例提供的一组图形用户界面。
    50.图13是本技术实施例提供的另一组图形用户界面。
    51.图14是本技术实施例提供的另一组图形用户界面。
    52.图15是本技术实施例提供的另一组图形用户界面。
    53.图16本技术实施例提供的电子设备的结构示意图。
    具体实施方式
    54.下面将结合附图,对本技术中的技术方案进行描述。
    55.以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本技术以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。在本技术实施例中,“当
    ……
    时”、“在
    ……
    的情况下”、“若”以及“如果”等描述均指在某种客观情况下设备会做出相应的处理,并非是限定时间,且也不要求设备在实现时一定要有判断的动作,也不意味着存在其它限定。
    56.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。下文各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。此外,在本技术实施例中,“310”、“710”、“910”等字样仅为了描述方便作出的标识,并不是对执行步骤的次序进行限定。
    57.以下介绍电子设备、用于这样的电子设备的用户界面、和用于使用这样的电子设备的实施例。在一些实施例中,电子设备可以是还包含其它功能诸如个人数字助理和/或音乐播放器功能的便携式电子设备,诸如手机、平板电脑、具备无线通讯功能的可穿戴电子设备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载备(如智能手表)等。便携式电子设备的示例性实施例包括但不限于搭载或者其它操作系统的便携式电子设备。上述便携式电子设备也可以是其它便携式电子设备,诸如膝上型计算机(laptop)等。
    58.示例性的,图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别(subscriber identification module,sim)卡接口195等。其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环
    境光传感器180l,骨传导传感器180m等。
    59.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
    60.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
    61.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
    62.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
    63.在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,i2c)接口,集成电路内置音频(inter-integrated circuit sound,i2s)接口,脉冲编码调制(pulse code modulation,pcm)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,uart)接口,移动产业处理器接口(mobile industry processor interface,mipi),通用输入输出(general-purpose input/output,gpio)接口,用户身份识别(subscriber identity module,sim)接口,和/或通用串行总线(universal serial bus,usb)接口等。
    64.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
    65.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
    66.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,lna)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
    67.调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理
    后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a,受话器170b等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
    68.无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networns,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt),全球导航卫星系统(global navigation satellite system,gnss),调频(frequency modulation,fm),近距离无线通信技术(near field communication,nfc),红外技术(infrared,ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
    69.在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,gsm),通用分组无线服务(general packet radio service,gprs),码分多址接入(code division multiple access,cdma),宽带码分多址(wideband code division multiple access,wcdma),时分码分多址(time-division code division multiple access,td-scdma)(),长期演进(long term evolution,lte),bt,gnss,wlan,nfc,fm,和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system,gps),全球导航卫星系统(global navigation satellite system,glonass),北斗卫星导航系统(beidou navigation satellite system,bds),准天顶卫星系统(quasi-zenith satellite system,qzss)和/或星基增强系统(satellite based augmentation systems,sbas)。
    70.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
    71.显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或多个显示屏194。
    72.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
    73.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
    74.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元
    件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括一个或多个摄像头193。
    75.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
    76.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
    77.npu为神经网络(neural-networn,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
    78.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
    79.内部存储器121可以用于存储一个或多个计算机程序,该一个或多个计算机程序包括指令。处理器110可以通过运行存储在内部存储器121的上述指令,从而使得电子设备100执行本技术一些实施例中所提供的灭屏显示的方法,以及各种应用以及数据处理等。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统;该存储程序区还可以存储一个或多个应用(比如图库、联系人等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片,联系人等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储部件,闪存部件,通用闪存存储器(universal flash storage,ufs)等。在一些实施例中,处理器110可以通过运行存储在内部存储器121的指令,和/或存储在设置于处理器110中的存储器的指令,来使得电子设备100执行本技术实施例中所提供的灭屏显示的方法,以及其他应用及数据处理。
    80.电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
    81.音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
    82.扬声器170a,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐,或收听免提通话。
    83.受话器170b,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
    84.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中,电子设备100可以设置两个麦克风170c,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170c,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
    85.耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,omtp)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the usa,ctia)标准接口。
    86.压力传感器180a用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180a可以设置于显示屏194。压力传感器180a的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180a,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180a检测所述触摸操作强度。电子设备100也可以根据压力传感器180a的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如,当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于闹钟应用图标时,执行新建闹钟的指令。
    87.陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
    88.气压传感器180c用于测量气压。在一些实施例中,电子设备100通过气压传感器180c测得的气压值计算海拔高度,辅助定位和导航。
    89.磁传感器180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180d检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
    90.加速度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
    91.距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
    92.接近光传感器180g可以包括例如发光二极管(led)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备
    100附近没有物体。电子设备100可以利用接近光传感器180g检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180g也可用于皮套模式,口袋模式自动解锁与锁屏。
    93.环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合,检测电子设备100是否在口袋里,以防误触。
    94.指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。例如,当手机在锁屏界面检测到用户的触控操作时,手机可以通过指纹传感器180h采集用户的指纹信息,并通过采集的指纹信息与手机中预置的指纹信息进行匹配。若匹配成功,则手机可以从锁屏界面进入非锁屏界面。
    95.温度传感器180j用于检测温度。在一些实施例中,电子设备100利用温度传感器180j检测的温度,执行温度处理策略。例如,当温度传感器180j上报的温度超过阈值,电子设备100执行降低位于温度传感器180j附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
    96.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
    97.骨传导传感器180m可以获取振动信号。在一些实施例中,骨传导传感器180m可以获取人体声部振动骨块的振动信号。骨传导传感器180m也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180m也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180m获取的血压跳动信号解析心率信息,实现心率检测功能。
    98.按键190包括开机键,音量键等。按键190可以是机械按键,也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
    99.马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
    100.指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
    101.图2是本技术实施例的电子设备100的软件结构框图。
    102.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过
    软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
    103.如图2所示,应用程序层可以包括图库、日历、地图、导航、通话,相机、设置、视频,音乐、短信等应用程序。
    104.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层可以包括一些预先定义的函数。
    105.如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
    106.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
    107.内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
    108.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
    109.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
    110.资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
    111.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
    112.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
    113.核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
    114.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
    115.系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
    116.表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
    117.媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
    118.三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
    119.2d图形引擎是2d绘图的绘图引擎。
    120.此外,系统库还可以包括状态监测服务模块等,例如物理状态识别模块,用于对用户手势进行分析和识别;传感器服务模块,用于对硬件层各类传感器上传的传感器数据进行监测,确定电子设备100的物理状态。
    121.内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
    122.为了便于理解,本技术以下实施例将以具有图1和图2所示结构的电子设备为例,结合附图和应用场景,对本技术实施例提供的镜头脏污检测的方法进行具体阐述。
    123.目前,镜头脏污检测技术大多是通过对电子设备获取的图像特征进行对比分析,判断镜头是否脏污。第一方面,现有技术需要先使用镜头采集图像信息后才能判断镜头是否脏污,而无法实现事先对镜头脏污风险进行预判,当图像采集系统和图像处理系统无法及时地采集、处理、分析图像信息时,仍然会影响拍摄效果。第二方面,基于图像信息进行的分析,存在一定误差。例如,拍摄极端天气时,雾气、水汽、降水的图像特征,与镜头被脏污覆盖时拍摄的图像特征可能相似。由于图像特征信息分析单纯依靠数据处理,可能会将极端天气时拍摄的图像误判为镜头在脏污状态下拍摄的图像,进而无法准确识别出镜头是否出现脏污。第三方面,当前技术对镜头上局部脏污地识别准确性更高,因为局部脏污会带来图像信息的显性差异。但镜头整体脏污出现的概率也很高,且因为整幅画面都被脏污影响,无法准确识别出异常图像信息,从而无法准确识别出镜头脏污。
    124.因此,本技术将提供一种不完全依赖图像信息的镜头脏污检测的方法,可以辅助用户判断镜头表面是否存在脏污,能够提高镜头脏污识别的成功率,从而减小对拍摄效果产生影响。
    125.图3示出了本技术实施例提供的一种镜头脏污检测的方法300的示意性流程图。如图3所示,该方法300包括步骤s310和步骤s320。该方法300可以应用于智能手机、平板电脑、掌上电脑以及移动互联网设备(mobile internet devices,mid)、个人数字助理(personal digital assistant,pad)等具有镜头的电子设备。
    126.s310,确定镜头与障碍物之间的第一距离。
    127.电子设备确定镜头与障碍物之间的第一距离,该障碍物为镜头前的障碍物,该镜头前可以理解为镜头获取图像的方向。应理解,该镜头可以根据位置的不同分为前置镜头和后视镜头。
    128.示例性的,如图4所示,图4示出了本技术实施例提供的一种电子设备的示意图,该电子设备可以为手机,该手机镜头可以包括前置镜头401和后置镜头403。该前置镜头401位于手机正面,可以获取用户的自拍图像;该后置镜头403位于手机背面,用户可以利用该后置镜头获取外部风景图像。
    129.可选地,电子设备可以利用激光测距模块测量镜头与障碍物之间的第一距离,电子设备的激光测距模块通常紧靠镜头,激光测距模块可以配置在电子设备的镜头附近。
    130.示例性的,如图4中的(a)所示的电子设备正面,激光测距模块402可以配置在摄像
    装置的前视镜头401的正右侧。如图4中的(b)所示的电子设备背面,激光测距模块404可以配置在摄像装置的后视镜头403的正右侧。
    131.可选地,该激光测距模块可以配置在摄像装置的前视镜头或后视镜头的两侧。该激光测距模块还可以配置在电子设备镜头附近的任意一个位置,本技术对此不作限定。
    132.可选地,该激光测距模块的发送单元与接收单元可以合并为一个装置配置在镜头附近,也可以为两个不同的装置分别配置在镜头的两侧,或者同时配置在镜头的正上方或者正下方,本技术对此不作限定。
    133.应理解,激光测距模块通常以一定的频率持续向外发射激光获取距离信息。激光测距模块可以向垂直与镜头平面的方向发射激光,并测量激光测距模块到障碍物之间的距离。电子设备首先可以通过激光测距模块检测到遮挡该镜头的障碍物,其中,该障碍物可以为一个障碍物,也可以为多个障碍物。当终端检测到有多个障碍物时,电子设备会获取每一个障碍物与该测量激光测距模块之间的距离;当电子设备检测到只有一个障碍物时,电子设备会获取该障碍物与该测量激光测距模块之间的距离。由于激光测距模块紧靠镜头附近,因此,障碍物与激光测距模块之间的距离可以视为障碍物与镜头之间的距离。
    134.示例性的,激光测距模块可以通过如图5所示的方式获取该障碍物与镜头之间的距离。图5示出了一种电子设备测量距离的示意图,电子设备获取镜头与障碍物之间的距离的具体方式可以是通过激光测距模块向外发送一个或者多个检测信号(例如,激光)。当检测信号遇到不能穿透的物体时会反射回来,当反射回来的检测信号被激光测距模块接收到时,表明该激光测距模块检测到障碍物,这时电子设备中的计时模块可以统计激光测距模块从发送检测信号到接收到反射回来的同一个检测信号的时间,并根据该时间计算该障碍物与该镜头之间的距离。
    135.具体地,如图5所示,首先,电子设备500通过激光发射器520向外发送检测信号,并利用激光接收器530接收障碍物540发射回来的该检测信号(例如,激光);其次,电子设备500通过计时设备510获取从发送检测信号到接收到障碍物540反射回来的该检测信号的时间t;最后,电子设备500根据该时间计算该障碍物540与镜头之间的距离d。
    136.应理解,若激光在空气以速度c传播,激光发射设备与障碍物之间的距离为d,激光在该区间(即激光发射设备到障碍物)往返一次的时间为t,则
    137.d=ct/2
    ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
    (公式1)
    138.即通过激光测距模块中的计时设备测量出检测信号的往返时间,可以得到障碍物与镜头之间的距离。
    139.s320,若该第一距离小于或等于预设距离,提示用户镜头被污染。
    140.具体地,当电子设备确定镜头与障碍物之间的第一距离后,确定该第一距离是否小于或等于预设距离,若该第一距离小于或等于预设距离,则提示用户镜头被污染。
    141.可选地,当激光测距模块测量到镜头持续一定时间与障碍物之间的第一距离在预设范围内时,可以标记当前镜头状态为脏污高风险状态,从而提示用户镜头被污染。
    142.应理解,由于在本实施例中通过激光测距模块可以获取镜头和外界物体发生较大面积、持续一定时间接触的情况,因此激光测距模块并不需要很高的采样频率。此外,考虑到不同镜头的脏污风险的容忍度不同,还可以调整激光测距模块工作的采样频率,调整预设距离(例如,0-3mm)的持续时间阈值(例如,5s、10s等),从而调整镜头对脏污状态的判断
    标准。
    143.示例性的,当激光测距模块以10hz以上的频率工作时,激光测距模块测量到镜头与障碍物有持续5s以上距离为0的状态,则可以判断镜头可能与障碍物发生了导致镜头脏污的危险接触。标记当前镜头状态为脏污高风险状态,从而提示用户镜头被污染。
    144.可选地,电子设备可以实时调整激光测距模块的采样频率。当电子设备处于待机状态或低功率状态时,激光测距模块可以采用较低的采样频率进行工作;当电子设备处于高功率状态或者激光测距模块检测到镜头预设范围内有障碍物时,激光测距模块可以调整采样频率,采用较高的采样频率进行工作,以准确评估镜头的脏污危险状态,更准确的检测出镜头脏污情况。
    145.可选地,在电子设备上提示用户镜头被污染之前,该方法300还可以包括步骤s330:检测到用户使用听筒进行音频通话的第一操作。
    146.应理解,当检测用户使用听筒的行为时,确定镜头处于脏污高风险状态,可以在电子设备上提示用户镜头被污染。还应理解,用户使用听筒的行为包括但不限于以下内容:用户使用听筒接听电话或者拨打电话、用户使用听筒播放语音消息等。
    147.示例性的,当检测到用户使用手机自带的听筒接听电话时,电子设备的前置镜头有极大概率会与面部发生长时间大面积摩擦接触,而人面部的汗液、油脂、化妆品等物质都有可能导致镜头脏污。因此,当检测出用户使用听筒接听电话行为,该前置镜头可能已经被污染。
    148.还应理解,步骤s330可以在步骤s310之前执行,也可以在s310之后执行,还可以在执行s310的同时执行步骤s330。也就是说,电子设备可以在检测到用户的第一操作之前,确定镜头与障碍物之间的第一距离;电子设备也可以在确定镜头与障碍物之间的第一距离之前的一段时间内,检测到用户的第一操作;电子设备还可以是在检测到用户的第一操作的同时,确定镜头与障碍物之间的第一距离。本技术对此不作限定。
    149.可选地,在确定镜头与障碍物之间的第一距离之前的第一时间段内,检测到用户使用听筒进行音频电话的第一操作,可以提示用户镜头被污染。其中,该第一时间段可以根据实际情况进行确定,例如,该第一时间段可以为10分钟、20分钟或30分钟等,本技术在此不作限定。通过对该第一时间段的限定也能更加准确的检测该镜头受到脏污影响的情况。
    150.可选地,在电子设备上提示用户镜头被污染之前,该方法300还可以包括步骤s340:检测到用户启动相机应用的第二操作。
    151.应理解,启动相机应用的第二操作可以是用户通过点击相应的图标启动相机应用,可以是通过相机快捷键的方式启动相机应用,还可以通过其他方式启动相机应用,本技术对此不作限定。
    152.还应理解,步骤s340可以在步骤s310之前执行,也可以在s340之后执行,还可以在执行s310的同时执行步骤s340。也就是说,电子设备可以在检测到用户启动相机应用的第二操作之前,确定镜头与障碍物之间的第一距离;电子设备也可以在确定镜头与障碍物之间的第一距离之前,检测用户启动相机应用的第二操作;电子设备还可以是在用户启动相机应用的第二操作的同时,确定镜头与障碍物之间的第一距离。本技术对此不作限定。
    153.在一个实施例中,电子设备检测到用户启动相机应用的第二操作后,确定镜头与障碍物之间的第一距离,若该第一距离小于等于预设距离,电子设备可以在拍摄界面输出
    镜头脏污的提示信息,提示用户注意镜头脏污情况。例如,镜头表面附着面积较大的障碍物,该障碍物遮挡着镜头和激光发射模块,当用户启动相机应用后,激光测距模块获取镜头与障碍物之间的第一距离,发现第一距离小于等于预设距离,则可以直接在拍摄界面输出镜头脏污的提示信息,提示用户镜头被污染。
    154.在另一个实施例中,电子设备检测到用户启动相机应用的第二操作时,确定镜头与障碍物之间的第一距离,若该第一距离小于等于预设距离,电子设备可以在拍摄界面输出镜头脏污的提示信息,提示用户注意镜头脏污情况。
    155.在其他一些实施例中,电子设备可以首先确定镜头与障碍物之间的第一距离,若判断该第一距离小于或等于预设距离,电子设备可以对当前镜头进行标记,标记当前镜头状态为脏污高风险状态,当检测到用户启动相机应用的第二操作时,可以根据镜头脏污情况对用户进行提示。例如,手机长时间置于口袋或者桌面上,手机镜头可能与衣物或者桌面发生较长时间大面积的接触或者摩擦,从而可能导致镜头脏污。在这种情况下,手机检测到用户启动相机应用的第二操作,在手机拍摄界面上可以输出镜头脏污的提示信息,提示用户该镜头被污染。
    156.可选地,该提示信息的提示方式可以是通过文字、图像或者语音等方式,本技术在此不作限定。示例性的,该提示信息可以为“请注意镜头清洁”、“请注意后视镜头清洁”或“请注意前视镜头清洁”等文字提示。
    157.下面将结合图12至图15进行说明,在此暂不详述。
    158.本技术实施例提供了一种不完全依赖图像信息的镜头脏污检测的方法,通过获取镜头与障碍物之间的第一距离,根据该第一距离辅助判断镜头表面是否存在脏污,根据镜头脏污情况提示用户镜头是否被污染,以便于用户根据该提示进行相应的处理,从而减小对拍摄效果的影响。
    159.图6示出了本技术实施例提供的技术方案应用的系统架构示意图,该系统架构可以为电子设备系统架构中的一种,该电子设备600至少包括激光测距模块610、拍摄模块620以及图像处理模块630。其中,该激光测距模块610至少包括激光收发模块611和距离信息处理模块612;该拍摄模块620至少包括镜头621和图像存储模块622;该图像处理模块630至少包括图像分析模块631和图像优化模块632。
    160.激光测距模块610可以获取镜头与障碍物的距离。其中,该激光收发模块611可以发射激光和接收激光并计算激光测距模块与障碍物之间的距离;该距离信息处理模块612可以实时收集激光测距模块与障碍物之间的距离信息,并根据收集的距离信息判断镜头的是否处于脏污高风险状态。
    161.拍摄模块620可以接收距离信息处理模块612发送的镜头脏污高风险状态信息,在获取以及存储目标图像信息时进行相应的标记。其中,该镜头621可以获取目标图像信息,该图像存储模块622可以存储目标图像信息。
    162.图像处理模块630可以对拍照模块620获取的图像进行分析处理和优化。其中,该图像分析模块631可以对获取的目标图像信息进行二次判断,进一步判断该目标图像是否为镜头脏污状态下拍摄的;该图像优化模块632可以对受到脏污影响的图像进行优化处理,从而得到较为准确的图像信息。
    163.图7示出了本技术实施例提供的另一种镜头脏污检测的方法700的示意性流程图。
    如图7所示,该方法700包括步骤s710至步骤s750。该方法700可以应用于智能手机、平板电脑、掌上电脑以及mid、pad等具有镜头的电子设备中,该电子设备包括如图6所示的系统架构。
    164.s710,激光测距模块实时收集电子设备镜头与障碍物之间的距离信息。
    165.s720,当收集到镜头持续一定时间与障碍物之间的距离在预设范围内时,标记当前镜头状态为脏污高风险状态。
    166.步骤s710和步骤s720可以分别参考上述步骤s310和步骤s320,此处不再赘述。
    167.s730,在电子设备上以可感知的形式提示用户清洁镜头。
    168.具体地,终端设备通过步骤s720判断镜头已经处于脏污高风险状态,当用户使用镜头(例如,拍摄照片、摄像、视频通话等)时,可以在电子设备上以可感知的形式提示用户注意镜头脏污情况,及时清洁镜头。
    169.示例性的,当用户使用镜头进行拍照时,电子设备可以在拍摄界面输出镜头脏污的提示信息提示用户注意镜头脏污情况,及时进行镜头清洁。例如该提示信息可以为“请注意镜头清洁”、“请注意后视镜头清洁”或“请注意前视镜头清洁”等。可选地,该提示信息的提示方式可以是通过文字、图像或者语音等方式,本技术在此不作限定。
    170.可选地,该提示信息可以设置有透明度,从而避免对拍摄画面造成遮盖,避免影响用户的拍摄体验。此外,该提示信息还可以设置有关闭选项,响应于检测到用户对提示信息的关闭选项的操作,可以在拍摄界面中停止显示该提示信息。
    171.可选地,当该提示信息的显示时长达到预设时间范围后,可以在电子设备的拍摄界面中停止显示该提示信息,从而避免对拍摄画面造成长时间的遮盖,避免影响用户拍摄体验。
    172.下面将结合图12至图15进行说明,在此暂不详述。
    173.s740,当用户在镜头脏污状态下拍照时,对拍摄后保存的照片用传统图像分析方法分析脏污影响情况。
    174.具体地,当检测到用户在镜头脏污状态下拍照时,可以对拍摄后的图像利用传统的图像分析方法分析图像脏污影响情况。例如,通过对比图像不同区域灰度值范围来判断图像是否受到镜头脏污影响。
    175.可选地,通过对比图像不同区域灰度值范围来判断图像是否受到镜头脏污影响主要可以包括以下步骤:
    176.s741,对电子设备拍摄获取的照片进行灰度化处理。
    177.目前电子设备存贮的图像信息多为rgb色彩模式,彩色图像中的每个像素的颜色由r、g、b三个分量决定。而当令rgb模型中每个像素的r=g=b时,则彩色表示一种灰色颜色,即对图像进行了灰度化处理,其中r=g=b的值称为灰度值。
    178.可选地,为了让灰度化之后的图像可以更加真实地反映图像状态,可以使用心理学灰度公式计算得到每个像素的灰度值。其中,心理学灰度公式如公式2所示:
    179.gray=0.114b 0.787g 0.299r
    ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
    (公式2)
    180.可选地,除了利用心理学灰度公式外,还可以通过加权平均法确定每个像素的灰度值,即取rgb三分量值直接相加后的平均值作为灰度值,计算公式如公式3所示:
    181.gray=(r g b)/3
    ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
    (公式3)
    182.s742,将灰度化的图像分为n个区域。
    183.具体地,通过步骤s741获取灰度化的图像后,可以对灰度化的图像进行分块,得到相应的图像块,便于后续以图像块为基础判断镜头是否存在脏污。
    184.可选地,在实际应用场景中,可以先确定出图像块的大小,例如将图像块的大小确定为4*36,再根据确定的图像块的大小对灰度化的图像进行分块,确定要划分的区域个数n,得到对应的图像块。
    185.可选地,在实际应用场景中,还可以确定所要划分的图像块的总数量,再根据图像块的总数量对灰度化的图像进行分块处理,确定要划分的区域个数n。
    186.s743,对比每个区域和相邻区域之间的灰度值范围。
    187.应理解,灰度值范围(即灰度级)指图像中灰度值最高像素和灰度值最低像素之间的差异,灰度值范围在0到255之间。灰度级越大,图像的明暗层次跨度越大,对比度越强,越不可能受到镜头脏污的影响。
    188.可以理解的是,当镜头某一位置存在脏污,获取的图像上该脏污位置的区域,可能会出现对比度变低的异常现象。图像表现为发白、发蒙、发灰,图像特征上表现为最亮像素和最暗像素之间的亮度差异明显缩小,即灰度值范围被压缩。同样的,如果获取到目标区域的灰度值明显低于相邻区域,则可以认为该区域受到某种影响,导致该区域的图像特征发生了异常的变化。当手机拍照的其他功能均正常时,这种变化可能是由于镜头局部脏污导致的。
    189.在该步骤中,通过步骤s742将灰度化的图像划分为n个区域后,以每个区域(即目标图像块)为中心,判断目标图像块与预设范围内的其他图像块之间的灰度差值是否大于预设值,若该灰度差值大于预设值,则确定镜头可能存在脏污。结合步骤s720中的镜头的高风险状态,可以进一步确认该图像受到镜头脏污影响。其中,该预设值的具体数值可以根据应用场景灵活确定,本技术在此对其不作限定。
    190.示例性的,将图像分割为n个区域后,以其中任一区域为中心区域,在3*3的范围内对比该中心区域和相邻8个区域的灰度值范围,当目标区域的灰度值范围明显低于相邻区域时,则确定镜头可能存在脏污。其中,n≥9,n的数量越大,镜头脏污检测精度越高。
    191.s750,对受到脏污影响的图像进行优化。
    192.应理解,在该步骤中,可以对受到脏污影响的图像进行优化处理,即进行灰度变换,调整图像像素的灰度值,扩大脏污影响区域(即目标区域)中最大灰度值和最小灰度值之间的差距,将图像的灰度值拉伸到范围更接近整个0-255的区间,让灰度值偏高的像素更亮,灰度值偏低的像素更暗,从而使整个图像的明暗差异更加明显,显性增大图像的对比度,改善脏污效果。
    193.示例性的,可以利用如公式4所示的方法将某个像素的灰度值映射到更大的灰度空间:
    194.i(x,y)=i(x,y)-i
    minimax-i
    min
    (max-min) min
    ꢀꢀꢀꢀꢀꢀꢀꢀ
    (公式4)
    195.其中i
    min
    ,i
    max
    是检测到目标区域的原始图像的最小灰度值和最大灰度值,min和max是要拉伸到的灰度空间的灰度最小值和最大值。
    196.可选地,该调整的区域可以是整个区域的调节(即整体调节),调节整张图像每一个像素。整体调节中,公式4中的min和max是整个图像中的最小灰度值和最大灰度值。通过
    对整张图像灰度值范围的调节,扩大问题区域的对比度,使其和整体效果保持统一。
    197.可选地,该调整的区域还可以是仅针对检测到的目标区域进行调节(即局部调节),局部调节中,公式4中min和max是目标区域相邻8个区域中的最小灰度值和最大灰度值。通过对局部图像灰度值范围的调节,扩大目标区域的对比度,使其和预设范围内其他区域的效果保持统一。
    198.在本技术实施例中,电子设备可以不完全依赖于镜头获取的图像信息判断镜头脏污情况,而是利用激光测距模块确定镜头脏污风险状态,通过激光测量镜头与外部环境的距离,检测镜头是否与其他物体发生接触,判断镜头表面是否有可能存在脏污,提高镜头脏污检测的成功率,从而减小对拍摄效果的影响。
    199.图8示出了本技术实施例提供的技术方案应用的另一系统架构示意图,该系统架构为电子设备的另一系统架构,电子设备800至少包括用户行为检测模块810、拍照模块820以及图像处理模块830。其中,该拍照模块820至少包括镜头821和图像存储模块822;该图像处理模块830至少包括图像分析模块831和图像优化模块832。
    200.用户行为检测模块810可以检测用户的行为,对电子设备使用的场景进行预判并根据使用场景中镜头脏污风险的概率判断镜头是否处于脏污高风险状态,若镜头处于脏污高风险状态,则对镜头进行标记并将该信息发送给拍照模块。
    201.拍摄模块820可以根据用户行为检测模块810中镜头是否被标记为脏污高风险状态信息,在获取以及存储目标图像信息时进行相应的标记。其中,该镜头821可以获取目标图像信息,该图像存储模块822可以存储目标图像信息。
    202.图像处理模块830可以对拍照模块820获取的图像进行分析处理和优化。其中,该图像分析模块831可以对获取的目标图像信息进行二次判断,判断该目标图像是否为脏污状态下拍摄的;该图像优化模块832可以对受到脏污影响的图像进行优化处理,从而得到较为准确的图像信息。
    203.图9示出了本技术实施例提供的另一种镜头脏污检测的方法900的示意性流程图。如图9所示,该方法900包括步骤s910至步骤s940。该方法900可以应用于智能手机、平板电脑、掌上电脑、mid以及pad等具有镜头的电子设备中,该电子设备包括如图7所示的系统架构。
    204.s910,根据用户行为检测模块确定当前镜头处于脏污高风险场景下,标记当前镜头状态为脏污高风险状态。
    205.具体地,用户行为检测模块可以通过检测用户使用电子设备的行为,判断镜头是否处于脏污高风险状态。也就是说,用户行为检测模块可以提前判断电子设备的使用场景,根据使用场景中镜头脏污风险状态对镜头进行标记。当确定当前镜头处于脏污高风险场景下,则可以标记当前镜头状态为脏污高风险状态。
    206.示例性的,当用户使用手机自带的听筒接听电话时,前视镜头有极大概率会与面部发生长时间大面积摩擦接触,而人面部的汗液、油脂、化妆品等物质都有可能导致镜头脏污。因此,当用户行为检测模块检测出用户使用听筒接听电话后,可以将此时的镜头状态标记为镜头脏污高风险状态。
    207.可选地,用户行为检测模块还可以根据镜头脏污的情况标记镜头容易发生脏污的场景,例如,用户使用听筒接听电话时;手机放置桌面、口袋、背包等容易发生大面积摩擦的
    场景下。当手机检测出在某一场景下,镜头发生脏污风险概率很高时,可以对将该场景标记为脏污高风险场景。
    208.s920,在电子设备上以可感知的形式提示用户清洁镜头。
    209.该步骤可以参考上述步骤s730,为了简洁,此处不再赘述。
    210.下面将结合图12至图15进行说明,在此暂不详述。
    211.s930,当用户在镜头脏污状态下拍照时,对拍摄后保存的照片用传统图像分析方法分析脏污影响情况。
    212.s940,对受到脏污影响的图像进行优化。
    213.步骤s930和步骤s940可以分别参考上述步骤s740和步骤s750,为了简洁,此处不再赘述。
    214.在本技术实施例中,电子设备可以无需利用激光测距模块直接根据用户行为检测模块确定镜头脏污风险状态,利用用户行为检测模块提前判断电子设备的使用场景,通过场景检测提前识别镜头脏污风险。从而可以确定镜头表面是否存在脏污,提高镜头脏污识别的成功率,从而减小对拍摄效果的影响。
    215.图10示出了本技术实施例提供的技术方案应用的另一系统架构示意图,该系统架构为电子设备的另一系统架构,电子设备1000至少包括激光测距模块1010、用户行为检测模块1020、拍照模块1030以及图像处理模块1040。其中,该激光测距模块1010至少包括激光收发模块1011和距离信息处理模块1012;该拍照模块1030至少包括镜头1031和图像存储模块1032;该图像处理模块1040至少包括图像分析模块1041和图像优化模块1042。
    216.激光测距模块1010可以获取镜头与障碍物的距离。其中,该激光收发模块1011可以发射激光和接收激光并计算激光测距模块与障碍物之间的距离;该距离信息处理模块1012可以实时收集激光测距模块与障碍物之间的距离信息,并根据收集的距离信息判断镜头的是否处于脏污高风险状态。
    217.用户行为检测模块1020可以检测用户的行为,对电子设备使用的场景进行预判并根据使用场景中镜头脏污风险的概率判断镜头是否处于脏污高风险状态,若镜头处于脏污高风险状态,则对镜头进行标记并将该信息发送给拍照模块。
    218.拍摄模块1030可以接收距离信息处理模块1012发送的镜头脏污高风险状态信息,在获取以及存储目标图像信息时进行相应的标记。其中,该镜头1031可以获取目标图像信息,该图像存储模块1032可以存储目标图像信息。
    219.图像处理模块1040可以对拍照模块1030获取的图像进行分析处理和优化。其中,该图像分析模块1041可以对获取的目标图像信息进行二次判断,判断该目标图像是否为脏污状态下拍摄的;该图像优化模块1042可以对受到脏污影响的图像进行优化处理,从而得到较为准确的图像信息。
    220.图11示出了本技术实施例提供的另一种镜头脏污检测的方法1100的示意性流程图。如图11所示,该方法1100包括步骤s1110至步骤s1150。该方法1100可以应用于智能手机、平板电脑、掌上电脑、mid以及pad等具有摄像装置的电子设备中,该电子设备包括如图9所示的系统架构。
    221.s1110,激光测距模块实时收集电子设备镜头与障碍物之间的距离信息。
    222.该步骤可以参考上述步骤s310,为了简洁,此处不再赘述。
    223.s1120,当收集到镜头持续一定时间与障碍物之间的距离在预设范围内并且用户行为检测模块确定该电子设备处于脏污高风险场景下,标记当前镜头状态为脏污高风险状态。
    224.在该步骤中,一方面电子设备可以利用激光测距模块测量镜头与外界物体之间的距离,根据该距离信息判断镜头是否处于脏污高风险状态。另一方面,电子设备还可以根据用户行为检测模块确定自身是否处于脏污高风险场景中,从而判断镜头发生脏污的概率。若镜头长时间与外界环境距离在预设范围内并且用户行为检测模块确定该电子设备处于脏污高风险场景下,则可以标记当前镜头状态为脏污高风险状态。
    225.可以理解的是,通过该步骤能够进一步提高镜头脏污预判的成功率,通过激光测距模块能够准确获取镜头与外界物体发生接触的情况,通过用户行为检测模块能够判断是否处于脏污高风险场景下。若电子设备镜头满足这两种情况,则可判定该镜头发生脏污风险的概率极大,当用户使用镜头时,可以以可感知的形式提示用户进行镜头清洁。
    226.可选地,用户行为检测模块还可以通过激光测距模块辅助判断镜头容易发生脏污的场景。例如,当手机进行充电操作时,可以利用激光测距模块辅助判断是置于桌面上进行充电,还是置于无线充电座上进行充电,若激光测距模块测出一定时间内镜头与外界物体的距离在预设范围内,则可以确定手机是置于桌面上进行充电,手机镜头与桌面发生长时间大面积接触。此时,手机可以判定该充电场景下为脏污高风险场景,用户行为检测模块可以对该场景进行标记。
    227.该步骤其他内容可以参考步骤s320和步骤s910,此处不再赘述。
    228.s1130,在电子设备上以可感知的形式提示用户清洁镜头。
    229.该步骤可以参考上述步骤s730,为了简洁,此处不再赘述。
    230.下面将结合图12至图15进行说明,在此暂不详述。
    231.s1140,当用户在镜头脏污状态下拍照时,对拍摄后保存的照片用传统图像分析方法分析脏污影响情况。
    232.s1150,对受到脏污影响的图像进行优化。
    233.步骤s1140和步骤s1150可以分别参考上述步骤s740和步骤s750,为了简洁,此处不再赘述。
    234.在本技术实施例中,电子设备利用激光测距模块以及用户行为检测模块确定镜头脏污风险状态,通过激光测量镜头与外部环境的距离,检测镜头是否与其他物体发生接触,判断镜头表面是否有可能存在脏污。此外,利用用户行为检测模块判断电子设备的使用场景,通过场景检测识别镜头脏污风险。从而可以进一步确定镜头表面是否存在脏污,提高镜头脏污识别的成功率,减小对拍摄效果的影响。
    235.图12示出了本技术实施例提供的一组图形用户界面(graphical user interface,gui)。本技术将以手机作为电子设备,对本技术实施例进一步描述。
    236.如图12中的(a)所示,手机的屏幕显示系统显示了当前输出的界面内容1201,该界面内容1201为手机的主界面。该界面内容1201上包括多个应用程序(application,app)的图标,该多个应用程序包括时钟、日历、图库、备忘录、计算器、浏览器以及社交app等。当手机检测到用户点击相机应用的图标1202的操作时,手机可以显示如图12中的(b)所示的gui。
    237.如图12中的(b)所示,响应于检测到用户点击图标1202的操作,手机可以显示相机应用的图像预览显示界面1203。在本技术中,将“相机应用的图像预览显示界面”称为“拍摄预览界面”,该拍摄预览界面1203可以包括拍照时用于呈现预览图像的区域,还可以包括多种功能控件,如图12中的(b)所示的设置菜单、相册快捷控件、快门键、镜头切换控件以及各种拍摄模式选择控件、拍摄参数设置菜单等,此处不再赘述。可选地,当镜头状态被标记为脏污高风险状态时,用户启动相机应用时,会在拍摄预览界面中显示第一提示信息1204,例如,该第一提示信息1204可以为“!请注意后视镜头清洁”信息,此外,在拍摄预览界面中出现的图像可能也会出现被脏污遮挡的情况。应理解,该第一提示信息1204可以以弹窗的形式提示,也可以直接在拍摄预览界面中显示,本技术对此不作限定。还应理解,当用户打开相机应用的同时该第一提示信息1204可以出现在手机拍摄预览界面1203上,也就是说,该第一提示信息1204在镜头获取图像之前就可以进行提示。可选地,当用户检测模块检测用户进行镜头清洁后,手机可以显示如图12中的(c)所示的gui。
    238.如图12中的(c)所述,当检测到用户进行镜头清洁后,手机拍摄预览界面1203上可以显示第二提示信息1205,该第二提示信息1205例如可以是“后视镜头已清洁,可以正常拍摄”等。此时,在拍摄预览界面中可以看见拍摄的图像无遮挡,并显示出需要拍摄的图像预览情况。
    239.图13示出了本技术实施例提供的另一组gui。
    240.如图13所示,响应于接收到视频通话消息,手机可以显示接受视频通话的请求界面1301。该视频通话请求界面1301上会显示发送视频通话的用户头像,头像下方出现“邀请你进行视频通话”的提示语。此外,该视频通话请求界面1301底部还包括挂断控件和接听控件,通过点击不同的控件可以执行不同的操作。当用户收到视频通话请求消息的同时,该视频通话请求界面1301上还可以出现提示信息1302,该提示信息1302的内容可以是“!注意镜头清洁”。
    241.图14示出了本技术实施例提供的另一组gui。
    242.如图14中的(a)所示,手机的屏幕显示系统显示了当前输出的界面内容,该界面内容1401为手机的主界面。该手机主界面1401上包括多个应用程序(application,app)的图标,该多个应用程序包括时钟、日历、图库、备忘录以及社交app等。当手机检测到用户点击社交应用的图标1402的操作时,手机可以显示如图14中的(b)所示的gui。
    243.如图14中的(b)所示,响应于接收到用户点击图标1402的操作,手机可以显示社交应用的显示界面。该显示界面的底部包括4个控件信息,分别为通话、消息、空间和联系人控件。其中,当前显示界面显示的是消息控件对应的显示界面。此界面显示有单聊消息记录和群聊消息记录,响应于用户对单聊消息记录1403的操作,手机可以显示如图14中(c)所示的gui。
    244.如图14中的(c)所示,响应于用户对单聊消息记录1403的操作,手机可以显示“妈妈”的聊天界面。该界面的底部显示多个控件,分别为照片、拍摄、视频通话、位置、文件、语音输入、收藏和红包控件,其分别对应多个控件。其中,控件是给用户呈现的可视化图形界面元素,它是一种软件组件,包含在应用程序中,控制着该应用程序处理的数据以及关于这些数据的交互操作,用户可通过触摸、滑动等操作与控件进行交互,从而对应用程序的有关信息进行读取和编辑。一般而言,控件可以包括图标、按钮、菜单、选项卡、文本框、状态栏等
    可视的界面元素。响应于用户对不同控件的操作(例如:触摸操作、或点击操作),电子设备的屏幕上可以显示不同的界面。响应于用户对拍摄控件的1404的操作,手机可以显示如图14中(d)所示的gui。
    245.如图14中的(d)所示,响应于用户对拍摄控件的1404的操作,手机可以显示拍摄的预览界面。当检测到用户设备需要利用镜头进行拍摄时,首先会判断镜头是否被标记为脏污高风险状态,若镜头被标记为脏污高风险状态,则在拍摄预览界面出现提示信息1405,该提示信息1405可以为“!请注意镜头清洁”。
    246.图15示出了本技术实施例提供的另一组gui。
    247.如图15中的(a)所示,手机界面显示与“妈妈”的聊天界面。该界面的底部显示多个控件,分别为照片、拍摄、视频通话、位置、文件、语音输入、收藏和红包控件,其分别对应多个控件。响应于用户对不同控件的操作(例如:触摸操作、或点击操作),电子设备的屏幕上可以显示不同的界面。响应于用户对视频通话控件的1501的操作,手机可以显示如图15中(b)所示的gui。
    248.如图15中的(b)所示,响应于用户对视频通话控件的1501的操作,手机可以显示与“妈妈”的视频通话界面,该界面表示视频通话正在拨通中,等待对方接受邀请。该界面的底部包括取消控件和切换到语音通话控件。当检测到用户设备需要利用镜头进行视频通话时,首先会判断镜头是否被标记为脏污高风险状态,若镜头被标记为脏污高风险状态,则在响应于用户对视频通话控件的1501的操作的同时,视频通话界面会出现提示信息1502,例如,该提示信息1502可以为“!请注意镜头清洁”。
    249.结合图12至图15示例性说明提示用户镜头被污染的情况。应理解,当检测到用户需要使用镜头进行视频通话或启动摄像装置进行拍摄时,可以根据镜头脏污状态提示用户是否需要进行镜头清洁,从而可以减小镜头脏污对视频通话或者拍摄的图像产生影响。
    250.图16示出了本技术实施例提供的电子设备1600的示意性结构图。如图16所示,该电子设备1600包括:镜头;一个或多个处理器1610,一个或多个存储器1620,该一个或多个存储器存储1620存储有一个或多个计算机程序,该一个或多个计算机程序包括指令。当该指令被所述一个或多个处理器1610运行时,使得电子设备执行上述实施例中的技术方案。
    251.可选地,该电子设备1600还可以包括激光测距模块。
    252.本技术实施例提供了一种系统,包括上述电子设备,该系统用于执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
    253.本技术实施例提供一种计算机程序产品,当所述计算机程序产品在电子设备运行时,使得电子设备执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似,此处不再赘述。
    254.本技术实施例提供一种可读存储介质,所述可读存储介质包含指令,当所述指令在电子设备运行时,使得所述电子设备执行上述实施例的技术方案。其实现原理和技术效果类似,此处不再赘述。
    255.本技术实施例提供一种芯片,所述芯片用于执行指令,当所述芯片运行时,执行上述实施例中的技术方案。其实现原理和技术效果类似,此处不再赘述。
    256.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟
    以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术实施例的范围。
    257.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
    258.申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
    259.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
    260.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
    261.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
    262.以上所述,仅为本技术实施例的具体实施方式,但本技术实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术实施例的保护范围之内。因此,本技术实施例的保护范围应以所述权利要求的保护范围为准。
    转载请注明原文地址:https://tc.8miu.com/read-670.html

    最新回复(0)