近年、多様な分野で背景CGが用いられていますが、作成には多くの時間と労力が必要です。本研究では、手描きの線で道路を表した画像と、手描きのヒートマップで土地の起伏を表した画像で、起伏のある背景CGを自動生成します。詳細はこちら

#VCL研究紹介 #7

『手描き地形画像を用いた背景CGの自動生成』

近年、多様な分野で背景CGが用いられていますが、作成には多くの時間と労力が必要です。
本研究では、手描きの線で道路を表した画像と、手描きのヒートマップで土地の起伏を表した画像で、起伏のある背景CGを自動生成します！ pic.twitter.com/81jkL6PDBC

— VCL -Visual Computing Laboratory- (@VclVisual) February 26, 2025

スマートフォンやSNSの普及により縦型動画の需要が高まっており、横型動画を縦型にクロッピングする機会が増えています。本研究では、顕著性や運動量などの情報に基づいて主被写体を決定し、適切な位置でのクロッピングを実現します。詳細はこちら

#VCL研究紹介 #5

『複数被写体を考慮した縦型ビデオクロッピング』

スマートフォンの普及により縦型動画の需要が高まっており、横型動画を縦型にクロッピングする機会が増えています。
本研究では、顕著性や運動量などの情報に基づいて主被写体を決定し、適切な位置でのクロッピングを実現します！ pic.twitter.com/HhcscuAgpw

— VCL -Visual Computing Laboratory- (@VclVisual) February 20, 2025

自動運転の普及によりLiDARなどを用いて周辺状況を取得する必要性が高まっていますが、高精度なLiDARは高額という問題があります。そこで、ステレオ画像を入力としてノイズ除去・領域抽出・補完処理を用いて、高精度なバウンディングボックス検出を実現します。詳細はこちら

スマートフォンやタブレットなどの普及により、動画像を画面サイズに合わせてリサイズする手法の需要が高まっています。本研究では、被写体の動きに基づいたシームカービング手法によって、従来よりも自然な動画像のリサイズを実現します。詳細はこちら

#VCL研究紹介 #9

『被写体の動きに基づいたシーム制御による高精度な動画像シームカービング』

画像や動画のサイズを変更する技術として、「シームカービング」があります。
本研究では、被写体の動きに基づいたシームカービング手法により、より自然な動画のサイズ変更を可能にしました。 pic.twitter.com/DDFJMgKfhI

— VCL -Visual Computing Laboratory- (@VclVisual) March 3, 2025

本研究は3Dモデルを対象に、3Dアニメーションに利用されるボーン情報を活用します。これにより、関節位置を自動的に選定するとともに、構造を考慮した関節パーツを割り当てることで、可動軸を持つ立体物を制作する手法を提案します。詳細はこちら

大阪水上バスの定期船の1種である「アクアライナー」で使用するアプリケーションを開発しました。本システムでは、クイズ、豆知識、スポット撮影、撮影写真の点数付けを行います。水辺の魅力の紹介、場所に限定されないシステムの利用が目的のシステムです。詳細はこちら

名札の紐色検出と顔認証を用いることで学年判別の精度向上を図ります。提案手法では、赤・緑・青の紐を下げた人物の画像を入力として、紐領域を抽出し色の判定を行います。紐色検出ができない場合は顔認証による学年判別を行い、判定結果から画像の分類を行います。詳細はこちら

近年、多様な分野で3次元モデルが活用されていますが、3次元モデルの作成には手間や技術を要します。本研究では、3次元物体検出を用いてシーンから任意物体周辺の点群を切り抜き、点群情報や平面推定を用いて正確に任意物体の点群を抽出します。詳細はこちら

領域分割に基づいた風景画像に対する靄除去の一手法を提案します。提案手法では、セグメンテーションを用いた領域分割や、深度情報を用いた透過度の補正処理を行うことで、画像中から靄の除去を行い、鮮明な画像の生成を実現します。詳細はこちら

VRデバイスのアイトラッキング機能と3Dモデルの影内判定を用いて、3Dモデルのメッシュ削減を行い、描画負荷軽減を軽減する、『中心窩レンダリングと影内判定を用いたLOD適用による描画負荷軽減』を開発しました。詳細はこちら

紙を使った工作である「切り紙」は、小さな子供が想像通りの作品を制作するには保護者によるサポートが求められます。本システムは、入力した図形を切り紙で再現するための紙の折り方と切り方を提示し、子供の作品制作を支援します。詳細はこちら

#VCL研究紹介 #8

『多重対称図形からの切り紙制作支援システム』

小さな子供が「切り紙」で想像通りの作品を制作するには、保護者によるサポートが求められます。
本研究では、入力した図形を切り紙で再現するための紙の折り方と切り方を提示し、制作を支援します。 pic.twitter.com/OkQY79r1Pa

— VCL -Visual Computing Laboratory- (@VclVisual) March 1, 2025

MRを用いて、様々な場所で利用者が描いた魚が泳ぐ『お絵描き水族館』を開発しました。本システムでは、利用者に合わせて、生きているかのように魚の動きが変化します。これにより、利用者に新感覚の驚きと楽しさを提供し、表現力や空間認識能力を養えます。詳細はこちら

#VCL研究紹介 #6

『MRを用いたお絵描き水族館』

お絵描き水族館とは、魚のイラストを描いて読み取ることで画面上に魚を泳がせるコンテンツです。
本研究では、描いたイラストから立体感のある自由な形の魚を生成し、MR上でまるで生きているかのように魚を群れで泳がせることができます?? pic.twitter.com/mhtMBhlmXE

— VCL -Visual Computing Laboratory- (@VclVisual) February 23, 2025

池上式3Dジグソーパズルの手法を応用し、任意の3Dモデルを自動的にピース分割します。本手法では、集合演算などを用いて池上式3Dジグソーパズルの内部構造を再現し、3Dプリンタで出力することで、実際に組み立てて体験することが可能です。詳細はこちら

近年、ニューラルネットワークの普及に伴い、データセットが不足する場合があります。本研究では、射影変換やGANの拡張技術よりデータの偏りを軽減した画像生成AIによる学習データの生成を提案します。詳細はこちら

任意の3Dモデルから立体迷路を自動生成し、その迷路をVRとトレッドミルを用いて体験できます。本システムでは、立体迷路の点検不足による事故のリスクを排除しつつ、内部構造の変更を容易にすることで新しい体験を提供し続けます。詳細はこちら

#VCL研究紹介 #10

『3Dモデルを入力とした立体迷路自動生成およびトレッドミルを用いた体験システム』

遊園地のアトラクションとして、通常の迷路に上下移動の要素を加えた立体迷路があります。 本研究では、任意の3Dモデルから立体迷路を自動生成し、VRとトレッドミルを用いて体験できます！ pic.twitter.com/9ZIWcYxsbv

— VCL -Visual Computing Laboratory- (@VclVisual) March 5, 2025

ESRGANを用いたボクセルモデルの超解像手法を提案します。提案手法では、2次元超解像手法であるESRGANを3次元用に拡張しています。これにより低解像度のボクセルモデルを自動で高解像化することができます。詳細はこちら

機械学習を用いた卒業アルバム制作におけるレイアウト支援の一手法を提案します。提案手法では、卒業アルバムのレイアウトデータをラベリングした独自のデータセットから生成モデルを作成し、依頼者の好みを反映したレイアウトを生成します。詳細はこちら

任意の画像からLEGO®ARTと呼ばれる立体作品を生成し、その組み立てを支援するシステムを提案します。本システムでは、深度推定などを用いてLEGO®ARTを自動生成し、3Dモデルやブロックの数を表示して支援を行います。詳細はこちら

#VCL研究紹介 #4

『単一画像からの「LEGO?ART」制作支援システム』

LEGOで立体感のある絵を作成する「LEGO?ART」があります。
本システムでは1枚の絵を入力することで3Dモデルやブロック数を表示し、LEGO?ARTの組み立てを支援します！
深度推定など、AIを用いた画像処理技術を使用しています。 pic.twitter.com/V9ZM8AN9Sk

— VCL -Visual Computing Laboratory- (@VclVisual) May 13, 2024

拡張現実を用いたプロジェクションマッピングの手法を提案します。提案手法では、様々な画像処理を施すことで被写体領域を抽出し、被写体の表面形状に沿って仮想の映像を表示します。これにより、るい環境下でも鮮明な映像表示が可能となります。詳細はこちら

3次元ペイントシステムを用いて描かれたペイントが物体追従する機能を開発しました。本システムでは、物体検出を使用し、ペイントのリアルタイムな位置更新を実現しています。これにより、ペイントの書き直し等の無駄な作業を省くことが可能です。詳細はこちら

画像または動画像の入力に対してSplit Depth Effectの効果を利用した錯視動画像の自動生成を提案します。提案手法では、独自計算式やセグメンテーション、深度推定を利用することで、違和感のない高精度な錯視動画像の自動生成を実現します。詳細はこちら

幼児教育における色や形に関する学習教材として、形状の連想能力を育むことができるジグソーパズルを開発しました。本システムは超短焦点プロジェクタを用いているため、幼児でも安全に操作することが可能です。詳細はこちら

中等教育における地形図の学習を手助けするシステムを提案します。本システムでは、手描きの地形図から自動的に3Dモデルを生成します。高さ情報を補間するため、地形図から現実に近い3Dモデルの自動生成が可能です。詳細はこちら

#VCL研究紹介 #3

『手描き地形図からの3Dモデル自動生成』

小学生の時、「等高線」や「地図記号」を学んだことを覚えていますか？
本研究では、そんな地形図を分かりやすく学ぶことができます。
手描きの地形図をカメラで読み取ると自動的に山の3Dモデルを生成でき、学習意欲の向上を目指します！ pic.twitter.com/ssFRGIxk7s

— VCL -Visual Computing Laboratory- (@VclVisual) April 19, 2024

大阪水上バスの定期船の1種である「アクラライナー」で使用するアプリケーションを開発しました。本システムでは、クイズ、豆知識、撮影スポットの通知と撮影写真の判別を行います。水辺の魅力の紹介、主体的なシステムの利用が目的のシステムです。詳細はこちら

市販のWEBカメラを7台用いて、手と表情の動きを含めた全身の3Dアニメーションを自動生成するツールを開発しました。本ツールは関節数の異なる多様な3Dモデルに適用できます。また、手と表情を誤検出したフレームを補間する手法を開発しました。詳細はこちら

3DCGのレンダリング負荷軽減手法を提案しています。レンダリング時に、視認性に基づいた独自指標である印象劣化量を算出し、値に応じてポリゴン数を削減します。これにより、視覚的に違和感のないレンダリング処理負荷軽減を実現します。詳細はこちら

VRゴーグルとトレッドミルを用いた高所恐怖症克服のためのシステムを提案します。本システムでは音響効果や物理刺激も使用しており、体験することで高い没入感や恐怖心を感じることができます。実験により、提案システムの有用性を示しました。詳細はこちら

動画像のリサイズ手法であるシームカービングには、計算コストが大きいことや、リサイズ後の動画像に違和感が生じる問題があります。提案手法では、動画像をシーン分割、領域分割することでリサイズ後の違和感を解消し、高速なリサイズを実現します。詳細はこちら

立体構造把握による脳の活性化を促すシステムを提案します。本システムでは、画面内に配置されたマグネットブロックを手指で操作して組み合わせて文字を作成します。デジタル上で磁気浮上を表現し、直感的な操作が可能なシステムです。詳細はこちら

スティックジャグリングに対するリアルタイムエフェクトを合成するARシステムを提案します。本システムでは、画像処理によって技判定を行い、技に応じたエフェクトを表示させます。本システムにより、パフォーマンスに起伏を与えることができます。詳細はこちら

初等教育における立体物の学習を手助けするシステムを提案します。本システムでは、手描き見取図から自動的に3次元図形や展開図を生成して表示させます。特徴点から図形を判定しており、自由度の高い3次元図形の自動生成が可能です。詳細はこちら

#VCL研究紹介 #2

『手描き見取図からの3次元図形及び展開図自動生成』

本研究は初等教育の学習支援を目的とした研究です。
手描きの見取図をカメラで読み取ると、瞬時に3Dモデルと展開図を自動生成します！
不透明度の変更や稜線での表示にも対応しており、立体物を楽しく学ぶことができます?? pic.twitter.com/D9XIGHqxVP

— VCL -Visual Computing Laboratory- (@VclVisual) April 12, 2024

大阪水上バスの定期船の一種である「アクアライナー」で使用するアプリケーションを開発しました。本システムは、GPS情報によりユーザがスポットへ接近するとクイズや豆知識を通知します。水辺の魅力を伝えることを目的としたシステムです。詳細はこちら

MRを用いた3次元空間にアートを作成できるシステムを開発しました。提案システムでは、手指認識により3次元空間への直感的なペイントを実現しています。また、空間認識により、現実空間から取得したメッシュにペイントすることも可能です。詳細はこちら

#VCL研究紹介 #1

『MRを用いた3次元ペイントシステム』

本日から、村木研での研究を定期的に紹介していきます！
第1回は現実空間と仮想空間を組み合わせた研究です。
普段絵を描く時は2次元ですが、本システムではMRデバイスであるHoloLens2を用いて3次元上にアートを作成することができます?? pic.twitter.com/McCQ7KoTjU

— VCL -Visual Computing Laboratory- (@VclVisual) April 8, 2024

運動不足解消を目的としたVRコンテンツを開発しました。本コンテンツでは、ユーザがトレッドミルを用いて仮想空間内を歩行します。また、コース上には多様なギミックがあり、下半身だけではなく上半身の運動も必要となります。詳細はこちら

画像から人物領域を高精度に切り抜くための手法を提案します。提案手法では、深層学習を用いた複数の従来手法に加えて、Alpha Mattingや色情報を用いた境界補正をすることで、高精度な人物領域切り抜きを可能としています。詳細はこちら

液晶タブレットを用いた木版画制作システムです。本システムでは、木版画の作業工程を忠実に再現しているため、デジタル上で木版画制作を体験することが可能です。また、かすれ等を表現し、リアルな作品を制作することができます。詳細はこちら

撮影の際に構図を意識して撮影することで、より印象の強い写真を撮影することができます。本研究では、視覚的特徴と構造的特徴に基づいて5種類の構図に対して評価します。本手法は、写真を選定するための補助としても使用することができます。詳細はこちら

4台の深度センサを使用した両足の3次元計測システムを提案します。提案手法では、各センサから取得した点群のうち信頼度の高い点群のみを利用して位置合わせすることで、高精度な3次元計測を実現しています。詳細はこちら

大量の写真群から適切な写真を選定するシステムを提案します。提案手法では、写真の品質、類似性、人物の写り方に基づいて写真を総合的に評価します。これにより、従来システムと比較して、より適切な選定が可能となります。詳細はこちら

3Dプリンタで出力したモデルを自立させる手段として、パーツ分割による重心補正があります。提案手法では、3Dモデルの形状特徴を解析し、立体物の印象が損なわないようなパーツ分割、および出力モデルの自立を実現します。詳細はこちら

3Dスキャナで取得した点群には、欠損が含まれる場合があります。本研究では、入力点群をボクセル領域に分割して局所的に密度を算出することで欠損を検出します。提案手法は、密度不均一な点群に対しても適用可能です。詳細はこちら

ARやMRにおいて、仮想物体を現実空間に違和感なく溶け込ませるための研究です。提案手法では、人工知能によって光源位置を推定します。また、同時に光源色を推定することで、より自然な融合を実現します。詳細はこちら

2台のカメラとヘッドセットマイクを使用したヨガの総合評価に関する研究です。提案システムでは、カメラで取得した映像から3次元骨格推定をします。また、マイクで取得した呼吸音から、ヨガ教室の指導に即した評価を行います。詳細はこちら

錯視には、広告や看板に用いられているように注目を集め、印象に残る効果があります。提案手法では、前後関係の入れ替えや、変曲点での奥行き変更により、手書きのひらがなから不可能図形への変換を実現しています。詳細はこちら

1枚の画像から、画像の一部の領域に動きを取り入れたループアニメーションを自動生成する研究です。提案手法では、独自の学習モデルを作成することで、静止領域と動領域を正確に区別することが可能となります。詳細はこちら

デジタルデバイス上で版画を作成するシステムです。本システムでは、彫刻刀や紙、インクといった専用の道具が不要であり、かつ彫刻刀による怪我や汚れの心配をする必要もなくなります。詳細はこちら

集合写真に写る全員が良い表情をしている集合写真を出力するシステムを提案します。提案手法では、認識した人物にそれぞれ対して最良顔画像を選定し、1枚の画像に合成することで集合写真を自動生成する。詳細はこちら

空中映像と手指認識を用いることで、非接触の施設案内システムを作成しました。提案システムでは、空中に投影される立体物を指で触れることによって、施設の階数選択、教室選択が可能です。詳細はこちら

カメラから取得した等高線画像から、土地の起伏を表現したレリーフマップを自動生成する研究です。取得した画像から、3次元化に必要な情報を抽出し、各等高線に高さを付与することによって3DCGモデルとして出力します。詳細はこちら

大阪水上バスの定期船の一種である「アクアmini」で使用するアプリケーションを開発しました。本システムでは、ユーザがスポットへ接近すると撮影を促す通知があり、正しいスポットを撮影できているかを判定してくれます。詳細はこちら

VRによる没入感の高いフォトアルバム作成支援システムを提案します。提案システムでは、写真の選択や貼り付けといった操作を直感的に行うことができ、思い出を振り返りながら鑑賞することができます。詳細はこちら

ユーザ好みの統一感のある風景写真を自動生成する研究です。提案手法では、基準画像と変換対象画像を入力とし、変換対象画像を統一感の定義に従い変換します。明度、彩度、色調を同程度に変更することで統一感を持たせます。詳細はこちら

着色済みの人物イラストから、レイヤ分けされたPSDを生成するシステムです。提案システムでは、レイヤ分けされたデータセットを独自に作成し学習モデルを生成することで、高精度なレイヤ分けを実現します。詳細はこちら

スマートフォンVRを用いた多人数で利用可能な仮想空間内での学習支援システムを開発しました。ボイスチャット機能に加え、現実空間と仮想空間をシームレスに切り替えることができ、ノートにメモを書くなどの書記作業が可能です。詳細はこちら

VRによるキャッチボールを実現します。提案システムでは、PUN2を用いて複数人で同期を取ることで、現実に近いキャッチボールを実現します。また、ボールの軌道線、落下位置を表示することでユーザ補助を可能とします。詳細はこちら

立体ワイヤーアートは、設計するのがとても大変です。本システムでは、入力した3Dモデルに対して骨格情報や面の凹凸性などを用いて形の特徴が含まれている輪郭線を決定することで、立体ワイヤーアートを自動に設計することができます。詳細はこちら

ゲームや映像作品などに使用される背景CGを制作するためには、膨大な時間と労力を要します。本システムでは、手描きの道路画像を入力として、国土地理院が公開している地図情報を学習した学習モデルを用いて背景CGを自動生成します。詳細はこちら

実物体の3D形状を取得するためには多視点からの画像が必要であり、対象が大きい場合は撮影に時間がかかります。本研究では、単一画像を入力として、人工知能を用いて多視点画像を生成し、SfMを用いることで3D形状を取得します。詳細はこちら

IoT家電の一つであるIoT冷蔵庫では、冷蔵庫内の食品を正確に認識することが課題です。本テーマでは、包装された食材の認識精度向上を目的とし、画像処理により包装に映りこんだ光の影響を低減することで、食材の認識精度向上させます。詳細はこちら

ブロードバンド環境の整備により、様々なインターネット動画サービスが提供され始めています。本研究では、人物が登場する動画を対象とし、顕著性や物体認識に基づいた評価値を用いることで動画のサムネイルを自動生成する手法を提案します。詳細はこちら

IT技術の発展によって、教育分野にもVRが急速に普及するようになりました。本研究では、4色塗り絵のルールに沿って3次元塗り絵VRコンテンツを開発しました。本システムでは、ハンドトラッキングを用いることで直感的な操作が可能です。詳細はこちら

投影されたスクリーンに対してタッチ操作が可能な超単焦点プロジェクタを用いて、ちぎり絵を作成するシステムを開発しました。本システムにより、現実空間でちぎり絵を制作する際の様々な問題を解決することができます。詳細はこちら

画像内の人物を認識し、人物領域をラベリングする手法が数多く提案されていますが、その特徴は一長一短です。本研究では、複数の手法を組み合わせることで人物領域切り抜きの精度を向上させます。詳細はこちら

ホルター心電図検査で取得した24時間分の心電図データを解析するために膨大な時間が必要です。本研究では、人工知能を用いて心電図データから不整脈を検出し、検出した不整脈に病的問題があるかどうかを判定します。詳細はこちら

本研究では、実画像から非写実的な画像を生成するノンフォトリアリスティックレンダリングでちぎり絵を表現する手法を提案します。提案手法では、物体と背景の境界を明確にすることで、よりリアルなちぎり絵を再現しました。詳細はこちら

本テーマでは、食べ物の見た目を変化させることで、視覚情報による味覚操作が可能であるか検証しました。提案手法では、HoloLens2の外部カメラからシャリを認識し、CGで生成されたネタを合成することで、ユーザの視覚を騙すシステムを構築しました。詳細はこちら

目の錯覚を利用したトリックアートは、作成するのがとても大変です。本システムでは、入力した写真に対してトリックアートの特性に基づいた錯視の強調を施すことで、トリックアートを気軽に作成することができます。詳細はこちら

背景をぼかして被写体を際立たせた印象的な写真であるポートレート。本システムでは、人工知能を用いて被写体を自動で検出し切り抜くことで、過去に撮った写真でも自動でポートレートへ変換できます。詳細はこちら

カメラから物体までの距離情報を持つ深度画像（2.5次元画像）を取得するためには、専用のセンサが必要です。本手法では、人工知能を用いて一般的なカメラで撮影した一枚の画像から深度画像を生成します。詳細はこちら

現実空間とCGの重ね合わせでは、影の向きが異なることによる違和感が生じます。本システムでは、人工知能を用いて光源位置を推定することで、違和感のないCGの重ね合わせを実現します。詳細はこちら

3Dモデル編集では、専門的な技術が必要であったり、モデリングソフトウェア内で複雑な操作を要求されるといった問題があります。本システムでは、手指のジェスチャで直感的に3Dモデルを編集することが可能です。詳細はこちら

一般的な3Dプリンタでは、重心位置を考慮しないため、出力したモデルが自立できない場合があります。本手法では、出力時の材料密度を調整することで重心位置を制御し、出力モデルの自立を可能にします。詳細はこちら