Information Sciences

Japanese only  

お茶情の研究を覗いてみよう

このシリーズでは、情報科学科の学生が行った最先端の研究から、
国際学会で高い評価を得たものを紹介していきます。

第1弾:肌の透明感とは?

紹介論文

シリーズ第1弾で紹介する研究は、栃木彩実さんが学部4年のときに行った以下の研究です。

Ami Tochigi, Takayuki Itoh ``Multidimensional Data Visualization for Investigation of Skin Transparency,'' 2021 年 7 月に情報可視化に関する国際会議 IV 2021 (https://iv.csites.fct.unl.pt/au/) にて発表し、最優秀論文賞 (The Best Paper Award) (https://www.ocha.ac.jp/news/20210726_1.html)を受賞。(栃木さんが大学院修士2年のとき。)

この研究の初期版は日本語でも発表されています。

栃木 彩実、伊藤 貴之「肌透明感の要因追求のための多次元可視化--肌画像解析と官能評価からなるデータの解析--」(https://proceedings-of-deim.github.io/DEIM2020/papers/B2-5.pdf) 2020 年 3 月に第12回データ工学と情報マネジメントに関するフォーラム DEIM 2020 (https://db-event.jpn.org/deim2020/) において発表。(栃木さんが学部4年のとき。)

概要と背景

 この研究は、肌の透明感についての研究です。特に女性の方は興味があるのではないかと思いますが、肌の透明感、魅力的ですよね。でも、これまで「肌の透明感」という言葉は漠然と使われてきていて、どのような肌が透明感を持った肌なのかは明らかではありませんでした。この研究では、多数の肌の写真から様々な特徴を抽出して、肌の透明感がどのような肌を指すのかを客観的に明らかにしています。

 肌の透明感についての研究は、これまで主に化粧品業界で行われてきました。例えば、肌の画像の平均輝度が高いほど透明感が高いと評価されるとか、肌の拡散反射※1が高いほど透明感が高いと評価されるなどの研究があります。しかし、これらはいずれも肌の透明感をごく少数の特徴と関係づけた単純なもので、加えて評価者によってぶれが生じるなどの問題点がありました。それに対して栃木さんは、肌の透明感を定義するためには (1) 多くの肌画像を用いること、(2) 平均輝度や拡散反射以外にも色相や彩度、明度、赤み、黄みなど多くの特徴を用いること、(3) 多くの人に評価してもらい客観性を高めること、そして(4) その結果を適切に解釈することが必要だと考えて、この研究を進めました。

拡散反射というのは、表面に当たった光が全方向に拡散するように反射することで、鏡のように一定方向に反射する鏡面反射と対比して使われます。

多くの画像を用いる

 研究の第一歩は多くの肌画像を集めることです。これまで、化粧品業界では専用の測定装置を使って肌の特徴を直接、測定してきました。しかし、専用の測定装置が必要だとデータの取得が難しくなります。そうではなく、栃木さんは一般の家庭で用いられている普通のデジタルカメラを使って肌画像を収集し、その画像から様々な特徴を抽出することにしました。このようにすると、専用の測定装置を使うことなく誰でも必要な特徴量を抽出することができます。

 しかし、これ、言うは易しですが、実際に行うのは大変です。肌の印象は微妙な光の加減で変化しますので、そこにぶれが生じないようにまずは専用の暗室(図1)を自分で用意しました。そして、頬の画像を左右から決められた角度で、決められた光源を使って撮影を行います。頬の画像を使うのは、人が肌の透明感を判断するときに最も注視するのが頬だからです。また、顔の画像ではなく頬の画像のみを使うのは、髪型が与える雰囲気など肌以外の要因が透明感の評価に影響を与えてしまう恐れがあるためです。さらに、肌の拡散反射と鏡面反射のデータを得るために偏光フィルタを使った撮影も行いました。

暗室
図1:自分で用意した肌画像撮影専用の暗室

多くの特徴を用いる

 次に、このようにして得られた肌画像を解析します。偏光フィルタを使って撮影した画像からは拡散反射、鏡面反射の量を計算することができます。また、色相、彩度、明度、赤み、黄み、輝度の情報も画像から抽出します。さらに、ヘモグロビンとメラニンがもたらす光反射を独立成分分析※2を使って分離します。これらの画像解析や独立成分分析は、情報科学科の学部の授業で扱っている内容がベースとなり、研究室に入ってからさらに専門的に学ぶものです。

独立成分分析というのは、混ざって観測される現象(ここではヘモグロビンによる光反射とメラニンによる光反射)を上手に分離する手法です。

 図2は実際に撮影した肌画像です。(1) は普通に撮影したもの、(2) は拡散反射を撮影したものです。拡散反射は、光が肌内部に散乱したのちに反射して得られる光のため、肌表面の光沢部分が除去され肌の色の情報が得られます。一方、(3) は鏡面反射を撮影したものです。こちらは肌表面の光沢部分を示しています。光沢の強さを表すためグレースケールの画像になっており、黒い部分ほど反射強度が強いということになります。最後に (4) はそれを2値化したもので、これで光沢部分の面積などを算出することができるようになります。

撮影した肌画像
図2:撮影した肌画像 (1) 元画像、(2) 拡散反射を抽出したもの、(3) 鏡面反射を抽出したもの、(4) それを2値化したもの

 この研究では最初に書いた10種類の特徴量を用いました。しかし、これらは漫然と選ばれているわけではありません。これまでの研究で用いられているものに加え、化粧業界の人とも話し合いながら、肌の透明感に大きな影響を与えると思われるものを厳選して使っています。

多くの人に評価してもらう

 画像から特徴量を抽出したら、次は各画像の透明感を評価します。評価者に各画像を見てもらい、それぞれについてどのくらい透明感を感じるかとともに、色白か色黒か、ツヤがあるか、など合計10項目についてそれぞれ5段階で評価してもらいます。透明感が高いと評価された肌画像がどのような特徴量を持っていて、どのように評価されたかを調べようというわけです。このような評価のことを専門用語で官能評価と呼びます。

 しかし、これも言うは易しですが、実際に行うのは大変です。まず、どのような評価項目を提示するかは重要です。肌の透明感に大きく影響しそうな項目を選びたいわけですが、そのような項目は無数にあります。ですが、あまりに多くの項目を並べると評価者が集中力を保って評価するのは難しくなります。この研究では、再び過去の研究と専門家のアドバイスに基づいて、図3に示す10項目を厳選しました。

画像の評価項目
図3:画像の評価項目

 さらに、この手の官能評価は評価者によって評価が大きくぶれることがあります。それを防ぐため、実際に評価を行う際には、まず最初に肌画像10枚を見せて、それを使って官能評価の練習をしてもらいました。これで各評価者は自分なりの評価基準をあらかじめ作ることができます。また、どのような評価項目があるのかもあらかじめ把握することができます。評価結果を調べると、このような工夫をしたことにより、安定した評価結果が得られていることがわかりました。

結果を適切に解釈する

 最後に得られた情報を解釈します。この研究では、肌画像 29 枚について特徴量を抽出するとともに、それを 91 人の評価者に評価してもらいました。ここで得られた大量のデータを解釈して、透明感のある肌の特徴を調べたいわけです。しかし、これだけ大量のデータになると、その中から肌の透明感と相関のある特徴量を見つけ出すのは容易ではありません。これまでの研究で、多くの特徴量を扱うことができなかった最大のネックはここにあります。
 これに対して、栃木さんの所属する伊藤研究室は(これまでに述べてきた画像処理などに加えて)情報可視化を専門とする研究室です。このような大量のデータを可視化する技術を持っています。今回は、伊藤研究室で開発したツールの中でも 2017 年に発表した Hidden という高次元データ可視化ツール [1,2] を使用しました。化粧の専門家ではなく、情報科学の中でも情報可視化を専門とする研究室でこのような研究を行うメリットは、ここにあります。

 Hidden というツールのポイントは高次元データを可視化できるところです。今回の研究では10個の特徴量と10個の官能評価項目がありますので、それだけで20次元のデータとなります。そのような高次元のデータが大量にある状態でも Hidden は我々が理解可能な形で可視化(グラフ化)することができます。そのようなツールを使って肌の透明感を決める特徴量を探し出そうというわけです。

 まず最初に、肌の透明感と相関の高い特徴量を特定します。Hidden では閾値を変化させながら、相関の高い次元たちを連続的に表示することができます。この機能を使って、肌の透明感と相関の高い特徴量・評価項目を抽出しました。その可視化結果を図4に示します。ここで細い折線が画像1枚に対応しており、透明感の高い低いを色(赤は高い、緑は中位、青は低い)で示しています。これを見ると、ほとんどの画像で共通して透明感が高いと評される肌は、明るくて、肌表面がなめらかで、毛穴が目立たず、クリアな肌であることがわかりました。この結果は、納得できるのではないかと思います。

肌の透明感と相関の高い項目
図4: 肌の透明感と相関の高い項目

 次に、もう少しデータを詳しく見ていきます。Hidden では相関の高い次元たちを選んで、その部分を詳しく表示することができます。その例として、彩度と黄みを選んでみました(図5の左端の軸と中央の軸)。これまでの研究で、彩度が低く(=色白で)、黄みの少ない肌(パターン1)は透明感が高いとされていましたが、それに加えて、黄み寄りの肌(ピンクからは遠目の肌)で彩度が中程度(パターン2)でも透明感が高いと判断されることがあることがわかりました。そこで輝度と白さ(右端の2軸)を加えてさらに詳しく調べてみると、(黄み寄りの肌でも)輝度が高く白いと知覚される場合は透明感が高くなることがわかりました。これまでに、色がピンクから遠ざかるほど透明感が低くなるという研究は報告されていましたが、ここでの研究はピンクからは遠い黄み寄りの肌でも透明感が高くなる場合があることを発見したことになります。

黄み寄りでも輝度が高く白いと透明感が高いと評価される
図5: 黄み寄りでも輝度が高く白いと透明感が高いと評価される

 また、別の次元を選ぶと、色白で、輝度が高く、輝度の標準偏差が小さい(=色むらがない、または全体に白っぽい)ときには透明感が高くなるという結果が出ました(図6の左の3軸。パターン3)。これも納得できる結果だと思いますが、それに加えて、色白さ、輝度、輝度の標準偏差がいずれも中程度でも透明感が高くなる場合があることがわかりました(パターン4)。そこでテカリとツヤ(右端の2軸)を加えてさらに詳しく調べてみると、ツヤが高いと透明感が高くなることがわかりました。肌のツヤというのは、肌の鏡面反射によるものです。これまで肌の拡散反射が透明感に影響することは知られていましたが、鏡面反射も影響するということが今回、新たにわかったことになります。

輝度が中程度でもツヤが高いと透明感が高いと評価される
図6:輝度が中程度でもツヤが高いと透明感が高いと評価される

 今回、このように新しいことがわかったのは、一面では Hidden というツールの有用性を示すものです。しかし、単にツールを使えばこれらの結果が得られるかというと、そうではありません。肌の透明感を決める要因の候補は、Hidden を使っていても多いことに変わりはありません。むしろ、Hidden が提示する可視化結果を解釈しながら、なぜそれが肌の透明感につながるかというストーリーを作り、それを Hidden の機能を使って検証していくという作業の繰り返しになります。そのような試行錯誤の中から初めて生まれる成果です。

 さて、それでは皆さん自身の肌の透明感を高めるにはどうすれば良いでしょうか。その最初のステップは、皆さんの肌の写真を撮り、その特徴を把握することでしょう。今回の研究で、肌の透明感というのは単一の項目によって決まるものではないということがわかってきました。これは、どのような肌でもその特徴をとらえられれば、それぞれに適した透明感のある肌を見つけることができるかも知れないということを示唆しています。将来、自分の肌の写真を撮ってアップロードすると、それを解析して、最適な見せ方を教えてくれるサイトができるかも知れませんね。

参考文献

 [1] T. Itoh, A. Kumar, K. Klein, J. Kim, High-Dimensional Data Visualization by Interactive Construction of Low-Dimensional Parallel Coordinate Plots, Journal of Visual Languages and Computing, Vol. 43, pp. 1-13, 2017.
 [2] 伊藤 貴之, 高次元データ可視化のための次元選択, 日本オペレーションズ・リサーチ学会, Vol. 63, No. 1, pp. 6-12, 2018.

問い合わせ先

大学へのお問合せはこちらをご覧ください

〒112-8610 東京都文京区大塚2-1-1
TEL : 03-5978-5704
FAX : 03-5978-5705
責任者 : 情報科学科HP運営委員会 伊藤貴之
MailAdrress

※このウェブサイトは情報科学科の学生によって制作されています。