ROS - Android 통신 하기(feat. WebSocket, Okhttp3)

먼저 사용되는 기술 배경은 다음과 같다.

• Window10
• VirtualBox 7.x.x
• Ubuntu 18.04(on VirtualBox)
• ROS Melodic
• Android Studio (노트북의 모바일 핫스팟에 네트워크가 연결된 상태다)
• Galaxy S20FE

이전에 rosjava, rosandroid를 사용해서 ROS와의 통신을 구축해보려고했는데 특정 라이브러리가 maven에서 날라간 것으로 보인다. 정확히는 `org.ros.message.MessageListener` 가 안돼서 Subscriber를 동작시킬 수가 없었다. 

 repositories {
    google {
        content {
            includeGroupByRegex("com\\.android.*")
            includeGroupByRegex("com\\.google.*")
            includeGroupByRegex("androidx.*")
        }
    }
    maven { url = uri("https://github.com/rosjava/rosjava_mvn_repo/raw/master") }
    mavenCentral()
    gradlePluginPortal()
}

이렇게 까지 해서 버전 하나하나 바꿔가며 리소스를 받으려했는데 실패했다..

어차피 rosbridge_server로 rosbridge_websocket을 열면 웹소켓 서버가 열리니까, 이걸로 선회했다.

# WebSocketClient 만들기

ROS 작업을 하기 전에 안드로이드 쪽 코드를 먼저 작성한다.

Java Native에 들어있는 WebSocket을 사용해도 됐지만 최적화가 이미 잘 되어있고 stable한 라이브러리인 okhttp3를 사용했다.

[versions]
okhttp = "4.12.0"

[libraries]
okhttp = { module = "com.squareup.okhttp3:okhttp", version.ref = "okhttp" }

시작 전 인터넷 권한 꼭 manifest에 허용해둬야한다.

private var webSocket: WebSocket? = null
private val client = OkHttpClient.Builder()
    .readTimeout(0, TimeUnit.MILLISECONDS)
    .build()

fun connect() {
    val request = Request.Builder().url(url).build()
    webSocket = client.newWebSocket(request, createWebSocketListener())
}

웹소켓 객체를 먼저 만든다. 웹소켓 서버 url을 받아서 request 인스턴스를 만들고, websocket listener와 함께 client로 생성하면 된다. 읽기 타임아웃은 0으로 설정했다. WebSocket 특성상 열어두고 계속 쓸건데 타임아웃이 있다면 응답이 오기전에 끊어질 것이다.

var onMessageReceived: ((String, String) -> Unit)? = null
var onConnectionOpened: (() -> Unit)? = null
var onConnectionClosed: ((code: Int, reason: String) -> Unit)? = null
var onConnectionFailed: ((Throwable) -> Unit)? = null

private fun createWebSocketListener() = object : WebSocketListener() {
    override fun onOpen(webSocket: WebSocket, response: Response) {
        onConnectionOpened?.invoke()
    }

    override fun onMessage(webSocket: WebSocket, text: String) {
        val json = JSONObject(text)
        val topic = json.optString("topic name")
        val message = json.optJSONObject("msg")?.toString() ?: ""
        onMessageReceived?.invoke(topic, message)
    }

    override fun onClosing(webSocket: WebSocket, code: Int, reason: String) {
        webSocket.close(CODE_EXIT, null)
    }

    override fun onClosed(webSocket: WebSocket, code: Int, reason: String) {
        onConnectionClosed?.invoke(code, reason)
    }

    override fun onFailure(webSocket: WebSocket, t: Throwable, response: Response?) {
        onConnectionFailed?.invoke(t)
    }
}

JSON오브젝트로 감싸놨다. ros에서 오는 응답 형태가 아래처럼 json형태로 내려온다. onMessage는 로그 title이고 `{  }` 로 감싸진게 message다.

onMessage: {
    "topic": "/chatter", 
    "msg": {"data": "hello SSAFY 1724739832.18"},
    "op": "publish"
}

응답 처리할 람다함수를 각자 지정해놨다. 역할이 하나라서 invoke로 실행해도 아무 문제 없다. 구독한 토픽에서 메시지가 들어오면 onMessage메서드에 text가 들어온다.

 

양방향 통신이기 때문에 토픽을 구독하고, 발행하는 코드도 당연히 존재한다. 발행시 주의할 점은 JSONObject를 rosbridge_server가 받고있기 때문에 json으로 감싸줘야 제대로 값이 들어간다. 정확히는 JSON String이다.

fun subscribe(topic: String) {
    val subscribeMsg = JSONObject().apply {
        put("op", "subscribe")
        put("topic", topic)
    }
    webSocket?.send(subscribeMsg.toString())
}

fun publish(topic: String, message: String) {
    val publishMsg = JSONObject().apply {
        put("op", "publish")
        put("topic", topic)
        put("msg", JSONObject(message))
    }
    webSocket?.send(publishMsg.toString())
}

이런 형태의 메시지를 바로 소켓통신으로 전송했다고 보면된다.

# MainActivity

rosClient = ROSWebSocketClient("ws://$CONNTECT_IP:9090")

먼저 웹소켓 서버url을 넣어서 인스턴스를 만든다. CONNETECT_IP의 중요성이 크다...

client에서 람다함수를 구체화 하기전, 우리는 메시지를 쏘고, 받는다는 점에서 익숙한 개념을 하나 떠올릴 수 있다. Flow의 emit, collect가 딱 맞는다.

단위 기능 테스트 중이라서 따로 ViewModel까지 작성하지는 않았다.

private lateinit var rosClient: ROSWebSocketClient
private val messageFlow = MutableStateFlow("") // StateFlow니까 초기화 값 필요

override fun onCreate(savedInstanceState: Bundle?) {
    super.onCreate(savedInstanceState)
    enableEdgeToEdge()
    setContentView(R.layout.activity_main)
    ViewCompat.setOnApplyWindowInsetsListener(findViewById(R.id.main)) { v, insets ->
        val systemBars = insets.getInsets(WindowInsetsCompat.Type.systemBars())
        v.setPadding(systemBars.left, systemBars.top, systemBars.right, systemBars.bottom)
        insets
    }

    rosClient = ROSWebSocketClient("ws://$CONNTECT_IP:9090")

    lifecycleScope.launch {
        messageFlow.collect { message ->
            tvMessages.append(message)
        }
    }
}

최신 state만 유지하기 보다는 일단 들어오는 값들을 모두 보고싶어서 collect로 했다.

rosClient 람다 설정해주는 함수는 아래와 같다. 

private fun initROSClient() {
    rosClient.apply {
        lifecycleScope.launch(Dispatchers.IO) {
            // 네트워크 작업이라 IO에서 동작
            connect()
        }

        onConnectionOpened = {
            lifecycleScope.launch {
                messageFlow.emit("ROS 연결성공")
                subscribe("/chatter")
            }
        }

        onMessageReceived = { topic, message ->
            lifecycleScope.launch {
                messageFlow.emit("토픽: $topic, 메시지: $message\n")
            }
        }

        onConnectionClosed = { code, reason ->
            lifecycleScope.launch {
                messageFlow.emit("연결 종료: $code, $reason\n")
            }
        }

        onConnectionFailed = { error ->
            lifecycleScope.launch {
                messageFlow.emit("연결 실패: ${error.message}\n")
            }
        }
    }
}

웹소켓에 connect되고 나서 바로 chatter 토픽을 구독한다. talker-listener 예시를 사용하기 위해서 이렇게 했다.

하나 더 추가해줘야할 게 액티비티가 onDestroy 될 경우를 대비한 websocket 통신 끊기다.

override fun onDestroy() {
    super.onDestroy()
    rosClient.disconnect()
}


// 클라이언트 코드에서는 아래와 같이 작성됨
fun disconnect() {
    webSocket?.close(CODE_EXIT, "disconnect")
}

 

이러면 안드로이드에서 작성해야되는 건 끝났다. 문제는 이제 어떻게 가상머신 위의 ROS에서 보내는 토픽을 구독해서 android 까지 가져오는 걸 어떻게 하는 지가 남는다. 이게 제일 중요하다. 

# 통신 설정하기

버추얼 박스에 일단 ROS 통신용으로 사용할 호스트 전용 어탭터를 열었다.

우분투로 들어가 ifconfig으로 이 어댑터의 ip를 확인해서 적어둔다. rosbridge_server를 열게되면 이 아이피 밑에서 포트번호 9090으로 열린다.

그럼 아까 CONNECT_IP에 저 노랗게 가려둔 IP를 적으면 될까? 안된다.

지금 안드로이드 - 윈도우10 - ROS on 우분투 이렇게 연결되어있는데, 저렇게 들어가면 접속할 수가 없다. 이제 윈도우에서 설정을 해줘야된다.

방화벽을 열어서 인바운드 규칙으로 포트 등록을 해준다. 이렇게 안하면 보안때문에 포트에 접근하지 못하는 경우가 생길 수 도 있다.

이제 ipconfig을 cmd에 써서 띄워보자.

이게 내 노트북의 IP다. 안드로이드의 데이터가 노트북으로 들어와서 ROS쪽으로 넘어갈 것이기 때문에 우리는 이 윈도우를 중계기로 써서, 웹소켓을 연결할 것이다.

 

그래서 포트 포워딩이 필요하다. 윈도우와 안드로이드가 통신하는데 안드로이드에서 바로 직결하면 다른 포트를 바라보고있다. 다시 윈도우 cmd를 열어서 아래 명령어를 입력하면 포트포워딩이 끝난다. IP 주소들은 모두 IPv4다.

netsh interface portproxy add v4tov4 listenport=9090 listenaddress={내 노트북 핫스팟 IP} connectpost=9090 connectaddress={ROS IP}

이건 등록하는 것이고 아래 두 개는 제거, 조회다.

• netsh interface portproxy delete v4tov4 listenport=9090 listenaddress={내 노트북 핫스팟 IP}
• netsh interface portproxy show v4tov4

이걸 하고 나면 윈도우를 거치는 게 아니라

flowchart LR
    A[안드로이드] <-->B{윈도우}
    B <--> C[ROS Ubuntu]
    A[안드로이드] <-->|포트포워딩| C[ROS Ubuntu]

안드로이드 - 윈도우 - ROS 과정에서 벗어나 안드로이드 - ROS가 바로 직결된다.

ROS에서 talker 예제를 켜두고, android에서 chatter를 구독해서 나온 결과다.

 

도움이 됐다면 댓글이나 공감 버튼 한 번씩 누르고 가주세요!